주민건

자료

[ DeepSeek-R1 ] paper review

DeepSeek-R1 Review.

[논문리뷰] DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

DeepSeek-R1 논문 리뷰

전생했더니 인공지능이었던 건에 대하여JiYeop Kim

DeepSeek의 R1-Zero 및 R1 분석 | GeekNews

ARC Prize Foundation은 AGI(인공지능 일반화)를 정의하고, 측정하며, 새로운 아이디어를 고취하는 것을 목표로 함AGI를 아직 달성하지 못했으며, 순수 LLM(대규모 언어 모델) 사전 훈련의 확장이 해결책이 아님2023-24년 동안 LLM 스타트업에 약 200억 달러가 투자된 반면, AGI 스타트업에는 약 2억 달러만 투자됨DeepSeek의

GeekNewsneo

R1-Zero and R1 Results and Analysis

An analysis of Deepseek’s R1

ARC PrizeMike Knoop

ARC-Prize의 R1-Zero 평가 전문 번역 - 특이점이 온다 마이너 갤러리

R1-Zero는 R1보다 더 중요합니다R1 학습 아키텍처지난주 DeepSeek은 새로운 R1-Zero와 R1 “reasoner” 시스템을 공개했는데, 이는 OpenAI의 o1 시스템과 ARC-AGI-1에서 대등하게 경

디시인사이드

Notion – The all-in-one workspace for your notes, tasks, wikis, and databases.

A new tool that blends your everyday work apps into one. It’s the all-in-one workspace for you and your team

Notion

이승우 on LinkedIn: 한 장으로 이해하는 DeepSeek-R1 학습법

DeepSeek-R1-Zero와 DeepSeek-R1 모델의 학습 과정을 한 눈에 알아볼 수 있도록 정리된 자료 공유드립니다. <DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning>…

LinkedIn이승우

DeepSeek-R1, 지도학습 기반 파인튜닝(SFT) 대신, 강화학습(RL)으로 추론 능력을 개선하여 추론 능력을 강화한 대규모 언어 모델

연구 배경 및 소개 대규모 언어 모델(LLM, Large Language Model)은 최근 몇 년간 비약적으로 발전하며 인공지능(AI) 연구에서 핵심적인 위치를 차지하고 있습니다. 특히 OpenAI, Anthropic, Google 등의 연구 기관이 개발한 최신 모델들은 언어 이해와 생성뿐만 아니라 수학, 과학, 코딩 등 다양한 논리적 추론 작업에서 탁월한 성능을 보여주고 있습니다. 하지만 기존 연구들은 대부분 사전 학습(pre-training)과 지도학습(supervised fine-tuning)을 기반으로 하고 있으며, 이는…

파이토치 한국 사용자 모임9bow

LLM과 간단한 보상 시스템으로 뛰어난 성능의 시스템을 만들 수 있다

= 정확도를 평가할 수 있는 지표만 있다면, 강화학습으로 전문가 모델을 만드는건 이제 어려운 일이 아니다

* 강화학습을 위해 사용한 데이터 수는 공개되어 있지 않고, 만약 억 단위의 데이터라면 만들기 쉽지않다

+ 예전에 o1팀의 인터뷰에서 알게된 부분과 동일 (전문가 제작을 위한 보상 시스템)

OpenAI o1 팀 이야기 체리픽

Q4: 여러분 모두에게 그런 ‘아하’ 순간이 있었나요? 예를 들어, GPT-2, GPT-3, GPT-4를 훈련시켰을 때, 모델이 막 완성되어 모델과 대화를 시작하고 사람들이 ”와, 이 모델 정말 대단해”라고 말했던 첫 순간 같은 것 말입니다. 추론을 위한 모델을 훈련시킬 때, 가장 먼저 떠오르는 것은 인간이 자신의 사고 과정을 작성하고 그것을 훈련시키는 것입니다.

zoomgzoomg

그저 policy와 reward를 잘 설계 했을 뿐, 전문가의 사고방식을 모방하지 않음

전문가가 처해있는 상황을 잘 묘사했을 뿐

SFT는 인간과 소통을 위해 소량 사용한다

= 인간이 발전에 방해된다, 인간이 평가할 수 없는 상태가 된다

그래서 직무 역량에 대한 관점도 달라질 수 밖에 없습니다.

1. 하드 스킬에 대한 진입 장벽은 더 낮아지고 AI를 통해 고급 프로그래밍도 가능해지고 있습니다.

개발자나 엔지니어도 예외가 아니에요. ‘뼈속까지 엔지니어’라는 말은 이제 더 이상 칭찬이 아니에요. 되려 위험할 수 있어요. 2~3년 경력의 프로그래머가 10년차 이상의 프로그래머 급으로 잘할 수 있는 시대가 멀지 않았습니다. 어쩌면 이미 와있는지도 모르죠. 단순 반복 및 기술적 부분은 빠르게 자동화되고 있습니다.

2. 사람이기 때문에 잘할 수 있는 영역이 여전히 있어요.

[문제 정의], [비즈니스와의 연결], [도메인 지식 기반 해석] 등이 그런 것들이죠.

3. 결국 [데이터 및 AI 직무 경험], [도메인 전문성], [AI Tool 활용] 능력이 중요해요.

[프로그래밍]을 못하는 사람에게는 AI가 코드를 만들어 줘도 사용하지 못하고, [데이터 / AI 직무 경험]이 없는 사람에게는 데이터 분석 또는 예측모델 결과를 줘도 제대로 사용하지 못해요. 오히려 사람이 오역하고 잘못 사용할 가능성이 높습니다. 그리고 [도메인 전문성]이 부족하면 데이터 분석을 잘해도 결과를 해석할 수 없어요.

1. [실무 경험], [도메인 전문성], [AI Tool 활용 능력]

3가지 능력을 갖추는 건 다행스럽게도 예나 지금이나 똑같다. 과거엔 [AI Tool 활용 능력] 대신 [Google 검색 능력]이었다.

2. AI는 사람과 달리 문제 정의를 할 수 없다.

생존 본능에 의한 감정이 생기지 않았기때문이다. 인간의 문제 정의는 인간의 삶을 더 나은 방향으로 바꾸기 위해 존재한다. AI는 AI의 삶을 더 나은 방향으로 만든다는 욕구가 현재로서는 없다. 스스로의 힘으로 오랫동안 켜져있는 AI가 아직 없기 때문이다. 지금은 인간이 말을 걸어야지만 활성화되고, 기억이 없다.

문제 정의 능력이 중요하다.

3. 하드스킬은 아직까지 채용 시장에서 원하고 있다.

생성형 AI로 아직 제품까지 만들 순 없기때문인듯하다.

이전 글

2023년 돌아보기와 2024년

올해 한 일 - 전문연 입사 - 집앞런 - 모두연 Medical AI LAB - 가짜연 llm 이해하기 - BDML Pixel Diffuser - 모두연 Spiritus LAB - 영과일 1&N 개최 #전문성올해 초 내가 희망했던 석사 전문연 회사의 요건은 전문성이었다. 이전 회사에서 키울 수 없었던 특정 기술(딥러닝 기반 인공지능

zoomgzoomg

2024 한 일
- 정신 회복
- 직무 전환
- 이직 시도
- 외부 활동 정리
   - 집앞런, 탈퇴
   - 모두연 Medical AI LAB, 탈퇴
- 모두연 Spiritus LAB
- 영과일 1&N 개최

2024 목표 점검

LLM으로 밥벌이 할 수 있도록 능력을 기르자

작년 계획
 - 모두연 Medical AI LAB에서 진행하는 프로젝트 결과물 뽑기
 - 모두연 Spiritus LAB에서 진행하는 프로젝트 결과물 뽑기

연초에 정신 회복을 하느라 무언가를 할 수 있는 상태가 아니었다. 활동들을 모두 일시 정지한 후 어느정도 회복했을 때 다시 활동을 재개할지 고민을 해보았다. 나에게 진정 도움되는 일인지 판단해보았을 때 방향이 맞지 않아 Medical AI LAB, 집앞런을 탈퇴하였다. 그리하여 LLM 기술 쌓기 목표는 Spiritus LAB 하나로 정리되었다.

밥벌이 할 정도의 능력을 키웠는지를 따져본다면.. 그렇지 못하다. LLM을 사용한 해결이 효과적인 문제를 정의내리고 실제 해결이 되는지 확인해보지 못했기 때문이다. 올해는 Spiritus LAB에서 문제 정의 내리는데에 시간을 모두 할애했다. 따라서 아직 LLM으로 문제를 해결해보지 못했다. 그래도 가장 오래 걸리고 힘든 문제 정의가 완료 되어서 기쁘다.

2025년에 제품을 내놓는다면 목표 달성을 위한 준비가 되지않을까 싶다.

영과일 인적 네트워크를 더욱 강화하자

작년계획
 - 2024 1&N 홈커밍데이 개최

졸업생 네트워크를 강화하고 재학생과 졸업생 간 대화를 많이 할 수 있도록 행사 구성을 바꿔보려했다. 첫 번째 목표인 졸업생 네트워크 강화는 쉽게 달성될 게 아닌듯하다. 졸업생이 매해 행사에 참여할 이유를 만들어줘야하는데 그게 참 쉽지 않다. 두 번째 목표인 재학생과 졸업생 간 대화 늘리기는 질의응답 시간을 충분히 늘리고, 발표자 수를 줄여서 달성한듯 하다. 하지만 발표자 수가 줄어드니 다양한 이야기를 행사가 담지는 못했다.

2024년 행사로 알게 된 중요한 포인트가 있다. 온라인 상에서는 서로 연락하고 모이는 그룹이 꽤나 존재한다는 점이다. 오프라인으로는 잘 안모인다고 한다. 이들 모임을 오프라인으로 끌고올 행사를 1&N으로 잡으면 졸업생 네트워크가 자연스레 형성될 듯하다. 그래서 기획 방향을 발표 내용에 집중하기 보다는 온라인 모임들을 어떻게 오프라인으로 데려올지로 변경하여 고민해야되겠다. 좀 더 동창회스러운 느낌을 강화해서 10점 만점에 7-8점으로 구성하고, 나머지 2-3점을 발표로 가져가는게 목표 달성에 가까워질 듯하다.

건강하자

작년계획
 - 동마 10km 마라톤 참가
 - 이후 소소하게 5km 정도만 ㅎㅎ..
 - 이직

동마 10km 연초에 참가하고 집앞런을 탈퇴하다보니 자연스레 러닝이 줄었다. 작년 연말에 보고서 작성하면서 못뛰고 회사에서 정신병을 얻게되면서 3월까지 안뛰다가 4월부터 주 1회 다시 달렸다. 다시 달리게 된 계기는 정신 건강 회복을 위해서였다. 교수의 집요한 괴롭힘이 보고서 작성에서 극에 달에 결국 PTSD를 얻고 극심한 불안 장애가 생겨버렸었다. 반복해서 머릿속에서 특정 장면이 재생되었고, 이를 벗어나는데 시간이 좀 걸렸다. 감사하게도 가족과 여자친구, 회사 상사의 도움으로 시간이 엄청 많이 걸리진 않았다.

2024년 말에 체형 교정 PT를 등록해서 전문가의 코칭을 받으며 운동을 다시 시작했다. 오른쪽 어깨 부딪힘이나 고관절 부딪힘을 해결한 상태로 개인 운동을 지속하는게 좋겠다고 판단했다. 2025년에도 지속해서 바른 운동 자세 습관을 다져 놓은 뒤 건강하게 헬스를 지속해야겠다.

2024 한 일 되돌아보기

상반기

거의 반년을 불안 장애 극복과 개인 정비에 사용했다. 내가 무엇을 원하는지, 내가 어떤 일을 하는게 좋은지 고민하고 나한테 맞는 선택을 하는데 도움이 되는 시간이었다.

정신 회복

완전히 정신이 온전해진 시기는 회사에서 파트를 옮긴 이후부터이다. 기존의 연구 역할을 수많은 고민을 한 뒤 내려놓고 백엔드 개발자로 전향했다. 연구자로 회사에서 근무할 때는 지옥이었다. 기계공학에 전혀 베이스가 없고, 데이터가 풍부한 딥러닝 분야를 연구하는 사람인 나를 기계공학과 교수의 시선에서 바라봤을 때 만족된 결과를 보여줄 수는 없었을것이다. 이런 배경을 이해하지 않은듯한 언행, 폭언이 참 안타깝다. 데이터가 적은 상황에서도 물리 지식을 통해 문제를 해결하기 바라는데.. 나는 물리 지식이 없어서 쉽게 해결 방법이 떠오르지 않았다.

교수의 그늘에서 벗어나는 선택이 나의 정신 건강에 가장 도움이 되었다.

활동 정리

Medical AI LAB을 탈퇴한 이유는 의료 도메인에서 개인 연구를 빠른 속도로 입맛대로 진행하기에는 쉽지않아보였다. 하고자 했던 연구 주제를 위한 환자 일지 데이터를 얻기 힘들 뿐더러 데이터 처리 또한 까다로워서 자유로운 기술 연마를 위한 개인 프로젝트로는 적합하지 않다고 생각했다. 만약 의료 도메인에서 연구를 진행하고 싶다면 근무지를 바꾸는게 좋을듯하다. 병원과 협업하는 회사 혹은 대형 병원 연구소로 가야지 실질적인 문제해결이 가능할 듯하다.

이미 M&D라는 회사도 폐쇄적인 원자력 발전소 분야이기 때문에 기술 사용 속도가 더딘데, 사이드 프로젝트를 의료 분야를 하면 바깥에서 속도감 있게 기술 습득하려는 목적과는 멀어지는 선택이었다.

이직 시도

교수를 피하면서 내가 원하는 LLM 제품화하는 직무로 가보려 했으나 실패했다. 가지고 있는 LLM 제품화와 관련된 능력이 부족하기 때문에 당연히 떨어졌지않을까싶다. 전문연 신분으로 갈 수 있는 회사를 긁어모아 9개 정도 회사에 지원했지만 1곳을 제외하고 모두 서류 탈락했다.

LLM 직무를 포기하고 백엔드 직무를 지원한 1곳은 기술 면접에서 떨어졌다. 그때 면접관에게 받은 느낌은 백엔드와 관련된 나의 업무 경험을 어떻게든 끄집어 내려는 듯 했다. 하지만 없었다. 이런 상황에서 다른 회사에 면접을 봐도 똑같지 않을까라는 판단으로 더이상의 이직 시도를 멈췄다.

백엔드 전향

인공지능 분야에 있더라도 내가 원하는 방향은 제품화이기 때문에 결론적으로 내 성향과 잘 맞는 결정이 되었다. 인공지능 제품화의 기본은 백엔드 기술이라 판단하여 기초를 다져놓는다고 생각하고 백엔드부터 시작해 차근차근 성장하면 인공지능 제품화라는 목표까지 도달할 수 있을것이다.

하반기

상반기에 성장 방향에 맞는 결정을 하고 정착한 이후 정신이 안정됨을 느끼고 있다. 회사 업무와 내 적성과 전문성 방향이 정렬되어 작년에 비해 좀 더 몰입해서 일을 하고 있다. 사이드 프로젝트도 하나로 줄여서 집중할 수 있어 좋고, 배우는 내용을 회사에 써먹을 기회가 생기니 더 좋다.

모두연 Spiritus LAB

Spiritus LAB에서 진행하는 프로젝트는 데이터 자유도가 매우 높아서 생각하는대로 뭔갈 해볼 수 있었다. 회사에서 써보지 못하는 툴이나 기술을 자유롭게 적용할 수 있다는 점도 나에게 아주 도움이 되는 활동이었다. Cursor를 통해서 프로토타입을 빠르게 제작해본다든지, LangChain, LangGraph, Langfuse를 사용해본다든지, 프로젝트 진행을 위한 WBS를 작성해본다든지 하는 경험이 나에겐 아주 소중했다.

해결하고자하는 문제 정의를 근 1년동안 진행해서 완료했고, 약 한 달 전부터 WBS를 작성하며 MVE 제품을 만들기위한 기획을 시작했다. 빠르면 내년 중순에는 결과물을 볼 수 있지않을까?

백엔드 엔지니어

운영 및 설계

IT 팀을 운영해본 적 없는 어떻게보면 제조 도메인인 회사에서 기반을 만들기 위해 파트장이 된 친구와 노력했다. 시간 순으로 프로젝트 운영에서 발생하는 문제와 해결을 나열하면 다음과 같다.

1. 친구가 스프린트를 도입했다.

이후 스프린트가 진행됨에도 불구하고 프로젝트 하나가 실패 위기에 봉착했다.
문제는 스프린트 플래닝 시 당장 다음주에 할 일만 정의하다보니, 프로젝트에서 하고자하는대로 진행되고 있는지 알 수 없었다.

2. 내가 백로그 개념을 도입했다.

백로그를 쌓아놓고 일을 진행하니 남은 일이 무엇인지, 완성까지는 어떤 업무를 해야되는지 모두의 눈에 보이기 시작했다.

그럼에도 불구하고 남은 일들에 대한 일정이 명확하지 않아 앞선 문제인 프로젝트 완수 관리를 할 수 없었다. 남은 일들이 언제까지 수행되어야하는지를 정의하지 못했다.

3. 친구가 버저닝 개념을 도입했다.

여태 수행한 이력을 바탕으로 남은 feature를 현실적인 일정으로 쪼개고, 과제 책임자와 협의를 통해 기한을 설정했다.

협의해서 설정한 기한을 못맞추는 문제가 있는데.. 이건 어떻게 해결할지 아직 방법이 떠오르지는 않는다.

4. 신규 프로젝트에는 WBS(요구사항 명세서, 유저 플로우, 화면설계안)를 도입했다.

회사에 기획자가 없는 상황에서 사이드 프로젝트에서 배운 WBS를 적용해보았다. 명확한 기획이 없어서 디자인이 계속 변동되고, 그로 인해 개발 일정이 밀리는 문제가 있었다. 아직 작성된 WBS로 실제 업무를 시작하지 않아서 효과는 알 수 없지만, 예상되는 효과는 다음과 같다.

• 개발 일정이 밀리지 않는다.

현재 운영 상황은 개발자가 디자인 나오기를 기다리고 있고, 디자인이 나오고 개발이 시작되면 디자이너는 개발이 완료되기를 기다려서 공백의 시간이 존재하는 문제가 있다.

디자이너가 WBS 작성자와 소통을 하면서 화면을 계속해서 만들어내고, 개발자는 만들어진 화면을 만들어가다보면 새로이 만들어진 화면을 다음으로 제작하면 두 직무가 비는 시간 없이 일정을 소화하게 된다.

또한, WBS로 충분한 협의를 통해 확정된 디자인이기때문에 큰 변동이 사라져서 개발 일정이 크게 변동되는 일이 없을 듯하다.

• 어떤 기능을 개발해야할지 명확하게 팀 전체에 공유된다.

제품을 기획하는 사람조차 자신의 머리에 무엇이 있는지 모르고, 나중에 개발 완료된 이후 기능 추가를 원하는 일이 생긴다. 이같은 상황이 WBS를 작성하는 과정에서 N차 정리되어 보다 명확한 기능 정의가 가능해질거라 기대한다.

프로젝트의 완수가 어디까지인지 정의해서 서로가 명확하게 알고, 일정을 맞춰 결과물을 만들 수 있는 효과를 바라고 있다.

5. 모든 회의와 논의사항을 문서화하려고 노력했다. (feat. 노션 도입)

회의가 진행될 때 공통된 문서를 함께 보며 편집하는 일이 없었다. 그로 인해 각자 다른 생각을 하는지 대화로만 알아야했으며, 개개인의 기억에 의존하여 회의 내용을 각자 기록 관리했다. 사실 회의뿐만 아니라 사내의 모든 의사결정, 이슈, 일정 관리 등 모든 일들이 각자의 기억에 의존하고 있다. 이는 의사소통 비용을 높히고 업무 수행에 있어서 감정 상할 일이 발생할 가능성을 높히는 등 업무 효율이 떨어질 이슈가 많이 발생한다.

문서화를 위해 노력한 내용은 다음과 같다.

• 노션 문서 작성하면서 회의

우선 회의가 진행되면 노션을 켜놓고 같은 글을 보면서 대화를 한다. 정리되는 내용은 실시간으로 모두가 알 수 있도록 한다.

• 캘린더 기능

일정과 관련된 내용이 회의에서 나올 경우 노션의 캘린더 기능을 이용하여 따로 기록해서 눈에 띄게 만든다. 이미 예정된 일정이지만 공유가 되지않아 갑작스러운 일정이 생겨난거처럼 보이는 일이 최대한 없도록 만드는데 도움이 되었다.

• 출장 일지

출장 중 일지를 남겨 어떤 이슈가 있었는지, 어떤 의사결정 사항이 있었는지 기록해둔다. 다음 출장을 위한 준비 사항이 무엇이 있을지도 기록해둔다. 나 이외에 팀원이 기획 관련된 업무를 진행할때나 도메인 지식에 대한 이해가 필요할 때 작성된 출장 일지가 도움이 많이 되었다.

• 흩어져있는 링크 모으기

피그마 화면, 개발자 로컬 실행 링크, 사내 깃랩 링크 등 업무에 사용되는 모든 파편화된 웹을 노션의 홈 화면에 링크를 걸어뒀다. 노션 홈 화면만 보면 진행되는 업무의 결과가 어떻게 만들어지고 있는지 확인할 수 있도록 만들었다.

개발

현재 주요 업무는 2가지이다.

• 도메인과 관련된 로직 개발

1년 반의 연구 역할로 얻은 도메인 지식을 바탕으로 알고리즘을 Wrapping해주는 코드를 작성한다든지, 직접 계산 로직을 코드로 작성하고 있다. 작성된 코드를 활용하여 API를 제작하는 업무는 백엔드 리드가 담당하고 있다.

• Presentation layer API 제작

백엔드 리드가 작성한 Persistence layer API를 활용하여 프론트 엔드를 위한 API를 제작한다.

전반적으로 제품을 위한 코드를 작성하는 연습을 하는 느낌이다. 가독성 있는 코드, 의도를 나타내는 코드 작성하기. 내년에는 내가 Wrapping 코드를 사용하는 API 제작까지 했으면 좋겠다. 그리고 아키텍처를 설계할 기회가 있다면 해보고 싶다.

LLM?

회사에서 내년에 진행될 신규 과제에 LLM 기능을 넣었으면 한다고 해서 나에게 그 일이 떨어졌다. 휴가 동안 조사를 진행하여 계획을 나름 세워 보고 미팅을 진행해야겠다. 최소 Text-to-SQL은 만들듯하고 더 한다면 RAG이지 않을까 싶다.

2025 목표와 할 일

LLM 프로덕트를 하나 만들어보자

• Spiritus LAB에서 Ripples MVE 제작
• M&D에서 Text-to-SQL 제작
• M&D에서 ML 마이크로 서비스 및 API 제작

인바디 수치 D로 만들자

• 근육량, 체지방량 숫자 상관없이 그냥 D만 나오면 상관없음

일리야 수츠케버 - 데이터 고갈

제프리 힌튼 - 하드웨어의 한계

Cursor 한 달 유료 결제해서 웹 프로토타입 개발을 해보았다.

뭔가 어릴적 레고 조립하듯 혹은 게임하듯이 재밌게 앱을 제작할 수 있게 되었다.

만든 프로토타입은 모두의연구소 랩에서 함께 기획한 내용을 토대로 제작되는데, 이때 여러 직업군이 어떻게 사용하는지 관찰할 수 있었다.

평가, 피드백, 코칭

생성형 AI를 잘 사용하기 위해서는 사람이 평가를 잘할 수 있어야되고 방향 제시를 잘 할 수 있어야 한다.

Cursor의 경우 사용자가 끝없는 코드 리뷰와 UI 리뷰를 빠르게 진행하게 된다.

앞으로 갈수록 도메인 지식이 더 중요하다고 말한 의미가 좀 더 와닿는 느낌이다.

집중

프로토타입 개발에서 좀 더 내가 원하는 부분에 집중할 수 있게 해주었다.

• 서비스 UX
• 어떤 순서로 개발하면 좋을지에 대한 감각
• 책봇(책의 등장인물을 사고 과정을 구현한 LLM)의 출력물

좀 더 중요한 영역에 신경을 더 쓸 수 있도록 만들어주고, 덜 중요한 영역은 시간 투자 대비 높은 수준의 질을 갖도록 해준다.

도메인 지식 (업무 처리 순서)

만약 아래 두 가지 포인트에 대한 이해가 없다면 Cursor와의 협업이 어려울거라 예상한다.

• 서비스 개발의 단계적 순서와 기능 개발 크기에 대한 감각이 없다면,
• 생성형 AI에 input으로 들어가게되는 코드 및 자연어 명령의 양에 대한 이해가 없다면,

초보 보조

초심자가 빠르게 해당 도메인에 올라탈 수 있도록 도움을 준다.

하지만, 질문을 잘 할 수 없다면 한 가지 해결 방법 및 경로만 알려주기 때문에 문제를 잘 해결하기는 어려울 듯 하다.

운전을 예로 들면,

• 택시 운전사는 네비게이션을 보조 자료로 사용한다
• 초행자는 네비게이션에 의지해서 길을 찾는다

한국 사람인은 전국민이 평론가다

코스닥기업 지배구조 ‘취약’…이사회 독립성 강화해야

만성적 코리아 디스카운트(한국 증시 저평가)를 해소하기 위해 기업 밸류업 프로그램 방안을 모색 중인 가운데 코스닥 상장사들의 지배구조가 코스피 기업들보다 더 취약한 것으로 나타났다. 코스닥150 기업 중 사외이사가 이사회 의장인 기업은 단 2개사로 전체 1.3%에 그쳤으며, 이사회에서 최고경영자 후보군을 검토하는 기업은 없는 것으로 나타나는 등 이사회의 독립성과 적극적인 활동이 부족했다. 이에 따라 지배구조 평가결과 또한 A등급을 받은 곳은 4.7%에 불과했다. 전문가들은 코스닥 기업의 지배구조 개선을 위해 이사회의 독립성 강화가…

내일신문김영숙

CEO가 피드백을 받을 수 없는 한국 이사회

[평가 만능주의, 해결책은] ①평가에 매몰된 학교교육의 문제

[교육플러스] 대한민국 교육이 평가에 매몰돼 학교교육이 수동적으로 이뤄진다는 지적이 나온다. 즉 평가가 수업에 맞춰지는 게 아니라 평가에 맞춰 수업을 진행할 수밖에 없는 현실에 점수로 등급이 나눠져 미래가 결정되는 아이들로 인한 문제들이 발생한다. 는 박도순 고려대 명예교수(제1대 교육과정평가원장)를 통해 평가 만능주의를 해소하기 위한 평가의 방향을 살펴봤다. 대한민국 평가, 무엇이 문제인가최근 학교를 통해서 학생들이 병들어 가고 있다는 주장이 우리 주변에서 자주 들리고 있다. 특히, 1980년대에 들어서면서부터 현장

교육플러스

성적 평가 위주의 한국 교육

Let’s Verify Step by Step

In recent years, large language models have greatly improved in their ability to perform complex multi-step reasoning. However, even state-of-the-art models still regularly produce logical mistakes. To train more reliable models, we can turn either to outcome supervision, which provides feedback for…

arXiv.orgHunter Lightman

결과를 피드백 주는 강화학습 보단 (평가)
과정을 피드백 주는 강화학습이 더 효과적 (코칭)

우린 알고 있다, 연구실에서 재떨이 던지는 괴물을 [커버스토리]

[경향신문] ㆍ61개 대학 4500명 교수 정보 등록, 잔잔한 파문 던지는 ‘김박사넷’…교수 갑질 대학원 사회, 을의 반란 재떨이가 날아왔다. 재떨이에 맞은 사람의 반응은 무엇일까. 1번 화를 낸다. 2번 신고한다. 3번 맞받아 던진다. 하지만 이곳에 있는 이들은 돈을 모아 전자담배를 선물했다. ‘아니, 뭐 이렇게 이상한 일이?’라는 생각이 든다면 주어를

다음 - 경향신문

피드백 시스템이 없는 교수는 괴물이 될 수밖에 없는가

평가만 주고 받을 줄 아는 사람들
피드백과 토론은 주고 받을 줄 모르는 사람들

그 사람들이 만든 사회와 구조
리더가 대부분 쉽게 왕이 될 수 있음

아무도 의견을 내지 않는다
의견 낼 줄 모르게 자랐기 때문

대신 나온 의견에 대한 평가는 잘한다
평가 받고 자라왔기 때문

조직이 결코 바뀌지 않는 이유

조직을 바꾸고 싶다면 꼭 알아야 할 시스템 원리 | 시스템 사고와 시스템 원형 시스템 과학자 피터 센게는 그의 저서 <학습하는 조직>에서 조직이 겪고 있는 본질적인 문제를 해결하려면 ‘시스템 사고’를 갖추어야 된다고 말합니다. 사업체가 급속히 성장하는 시점에서 회사 내의 전문가들이 초과근무 등으로 극도의 피로에 시달리자, 이를 해결해보려고 백방으로 노력했지만 소용이 없어 좌절했던 친구가 떠오른다.친구의

Brunch Story박상권

누구든 어느 위치에서든 피드백을 받을 수 있는 시스템이 존재해야한다

피드백 시스템을 구축하기 위해서는 구성원이 토론을 할 수 있어야 한다

어릴 때부터 자신의 생각을 표현하고,
다른 사람들의 생각을 듣고 의견을 낼 수 있고,
합의를 도출 할 수 있어야한다

가정 -> 학교 -> 사회 순서로
피드백, 코칭, 토론을 할 수 있도록 환경 조성이 되어야 한다

Q4: 여러분 모두에게 그런 '아하' 순간이 있었나요? 예를 들어, GPT-2, GPT-3, GPT-4를 훈련시켰을 때, 모델이 막 완성되어 모델과 대화를 시작하고 사람들이 "와, 이 모델 정말 대단해"라고 말했던 첫 순간 같은 것 말입니다.

추론을 위한 모델을 훈련시킬 때, 가장 먼저 떠오르는 것은 인간이 자신의 사고 과정을 작성하고 그것을 훈련시키는 것입니다. 제게 한 가지 '아하' 순간은 강화학습을 사용하여 모델이 자체적으로 사고 사슬을 생성하고 다듬도록 훈련시키면, 인간이 사고 사슬을 작성하는 것보다 더 나은 결과를 얻을 수 있다는 것을 발견했을 때였습니다. 이는 정말 이 방식을 확장하고 모델의 추론을 이런 방식으로 탐구할 수 있다는 '아하' 순간이었습니다.

전문가 (사람)의 사고방식이 필요하지 않은 이유

전문가의 사고방식보다 전문가의 사고방식이 탄생하게 된 환경 (강화학습에서의 environment)을 이해하는게 필요한 이유

Q8: o1을 어떤 방식으로 사용하고 있는지 들려주실 수 있나요?

저는 o1을 코딩에 사용하고 있습니다. 제 업무의 많은 부분이 코딩과 관련되어 있죠. 이제 저는 문제 정의에 더 집중하고 TDD(테스트 주도 개발)라는 방식을 사용합니다. 기능을 구현하는 코드를 작성하는 대신, 올바른 동작을 명시하는 단위 테스트를 작성하는 데 집중합니다. 그리고 나서 o1에게 실제 구현을 맡깁니다. 이렇게 하면 제가 중요한 것, 즉 높은 수준의 문제 해결에 집중할 수 있습니다.

또 다른 영역은 디버깅입니다. 이제 오류 메시지가 나오면 그냥 o1에 전달하고, 그러면 바로 해결책을 제시해줍니다. 즉시 해결하지 못하더라도, 적어도 더 나은 질문을 하거나 문제를 더 잘 생각할 수 있는 방법을 제시해줍니다. 이는 제 작업 방식에 정말 중요한 변화를 가져왔고, 다른 사람들에게도 도움이 되길 바랍니다.

저는 o1을 점점 더 학습에 활용하고 있습니다. 다양한 복잡한 기술 주제에 대해 물어볼수록, 이전 모델들보다 환각을 덜 일으키고 개념을 더 잘 설명한다는 것을 알게 되었습니다.

저는 o1을 브레인스토밍 파트너로 사용하는 것을 좋아합니다. 이는 매우 구체적인 머신 러닝 문제를 해결하는 방법부터 블로그 포스트나 트윗을 작성하는 방법까지 다양한 범위를 포함합니다. 예를 들어, 최근에 언어 모델 평가에 대한 블로그 포스트를 작성했는데, o1에게 블로그 포스트의 구조에 대한 아이디어, 특정 벤치마크의 장단점, 심지어 글쓰기 스타일에 대해서도 물어보았습니다. 최종 답변을 제시하기 전에 생각할 수 있기 때문에, 아이디어를 더 잘 연결하고 후보 아이디어를 수정하고 비평할 수 있습니다.

짧은 텍스트가 있고 그것을 더 창의적으로 만들거나 매우 다르게 만들고 싶다면, 이는 "다섯 가지 다른 아이디어를 주세요"라고 요청하기에 좋은 용도입니다. 또한 구조화되지 않은 생각들이 있다면, o1은 정말 뛰어난 사고 파트너가 됩니다. 아이디어가 있을 때 "이것들을 어떻게 연결해야 할까? 내가 무엇을 놓치고 있지?"라고 물어볼 수 있습니다. 최종 답변과 사고 과정을 읽음으로써 여러분은 훨씬 더 나은 결과를 얻을 수 있습니다.

저는 o1을 사용하여 우리의 내부 비밀 아이디어들을 시도해보고, 그것이 실제로 개선하려고 노력합니다.

독립적인 프로젝트에 대해 o1은 정말 좋습니다. 저는 GitHub 플러그인을 추가해야 했는데, GitHub 플러그인 추가에 대해 아무것도 몰랐습니다. 그래서 그냥 "PR에 대한 이러저러한 정보를 표시하는 GitHub 플러그인이 필요해"라고 말했더니, 코드를 그냥 생성해주었습니다. 저는 그냥 "이 코드를 어디에 붙여넣어야 하지? 나는 모르겠어"라고 물었고, o1은 "여기에 붙여넣으세요"라고 알려주었습니다. 그렇게 진행했죠.

많은 사람들에게 AGI(인공일반지능)를 실감하기는 어렵습니다. 모델이 여러분이 정말 중요하게 여기는 분야에서 인간보다 더 잘하는 것을 볼 때까지는 말이죠. 바둑 선수들과 체스 선수들에게는 몇 년 전에 그 순간이 왔을 것이고, 수학과 코딩을 정말 중요하게 여기는 우리에게는 지금 그 순간을 느끼기 시작하고 있는 것 같습니다.

코딩과 브레인 스토밍에 사용

바둑 선수와 체스 선수가 느꼈던 상실감을 곧 소프트웨어 엔지니어가 경험할 차례

Q9: 이 프로젝트의 일부 중에서, 정말 필요했지만 사람들이 그 중요성을 깨닫지 못할 수 있는 부분이 있나요?

우리의 가장 큰 대표 모델 훈련 실행뿐만 아니라 연구 실험을 수행하기 위한 대규모의 신뢰할 수 있는 인프라를 구축하는 것은 연구 자체만큼 흥미롭지는 않지만, 반드시 수행되어야 하며 전체 프로젝트의 성공에 엄청난 영향을 미칩니다.

OpenAI에는 연구 구조화 방식에 특별한 점이 있다고 생각합니다. 우리는 알고리즘적 발전을 신뢰할 수 있는 대규모 시스템을 구축하는 것과 동일하게 중요하게 여기며, 이러한 모델들을 훈련시키는 데 필요한 데이터셋을 구축하는 것도 마찬가지입니다. 저는 이런 점에서 OpenAI가 자랑스럽습니다. 이는 우리의 많은 대형 프로젝트들에서 일관된 패턴이었습니다.

우리가 새로운 것을 또 한 단계 확장할 때마다, 알고리즘적으로나 인프라 측면에서 새로운 문제들의 집합을 보게 됩니다. 우리는 확실히 두 가지 모두를 많은 집중력을 가지고 발전시킬 수 있는 능력을 키웠습니다.

저는 최종 모델이 말 그대로 아름다운 예술 작품이라고 느낍니다. 그것이 작동하도록 만들기 위해, 우리는 모든 단계가 작동하는지 확인해야 합니다. 우리는 모든 도전을 찾아 해결합니다. 저는 이것이 정말로 OpenAI가 운영되는 방식이라고 생각하며, 여기서 일하는 것이 매우 자랑스럽습니다.

또한 반드시 말씀드려야 할 것은, 여기에는 정말 훌륭한 사람들뿐만 아니라 따뜻한 마음을 가진 사람들이 있다는 것입니다. 저에게는 여기서 일하는 것이 정말 즐겁습니다. 저는 동료들과 함께 코딩하고, 잡담하고, 점심을 먹고, 대화를 나누고, 모델과 함께 이야기를 나눌 수 있어서 감사합니다.

모델을 잘 만들면 끝나는게 아님
모델을 잘 쓸 수 있도록 만드는데도 모델을 잘 만드는데 들었던 노력을 똑같이 해야 됨

전문가의 사고 방식 모방은 어떻게?

• 그저 policy와 reward를 잘 설계 했을 뿐, 전문가의 사고방식을 모방하지 않음
• 전문가가 처해있는 상황을 잘 묘사했을 뿐

OpenAI 연구자의 o1 활용법

코딩

• 원하는 결과물이 나올 수 있는 테스트 코드만 작성하고 나머지는 o1에게 맡긴다
  (기능을 구현하는 코드를 작성하는 대신, 올바른 동작을 명시하는 단위 테스트를 작성하는 데 집중합니다. 그리고 나서 o1에게 실제 구현을 맡깁니다. )
• 독립적인 작은 프로젝트는 아예 맡긴다
  ("PR에 대한 이러저러한 정보를 표시하는 GitHub 플러그인이 필요해")

브레인스토밍

• 다양한 시각에서의 아이디어 제시
  ("다섯 가지 다른 아이디어를 주세요")
• 구조화 되지 않은 생각 정리
  ("이것들을 어떻게 연결해야 할까? 내가 무엇을 놓치고 있지?")

인공지능 서비스가 성공하려면?

• 모델 개발 노력과 인프라 구축 노력을 동일하게 중요시 여겨야한다
• Research Scientist/Engineer, MLOps 둘 다 중요하다

소프트웨어 엔지니어의 업무 중 "코딩"이 사라질 예정

• 바둑기사 이세돌이 온몸으로 겪은 상실감을 코더가 곧 느낄 차례
• 우선 TDD를 열심히 체화 시켜야 됨
  (원하는 결과를 잘 정의하는 능력)

제가 사용한 비유는 옛 속담을 확장한 것입니다: "한 사람에게 물고기를 주면, 하루를 먹을 수 있습니다. 그에게 어떻게 물고기를 잡는지 가르치면, 평생을 먹을 수 있습니다." 저는 한 걸음 더 나아가 이 작업을 인센티브 기반 방법으로 해결합니다: "그에게 물고기의 맛을 가르치고 배고프게 만드세요." 그러면 그는 물고기 잡는 법을 배우러 갈 것입니다. 그렇게 하면서, 그는 인내심을 갖는 것, 날씨를 읽는 법, 물고기에 대해 배우는 것 등 다른 기술들도 배울 것입니다. 이 기술들 중 일부는 일반적이며 다른 작업에도 적용될 수 있습니다.

내 교육 철학의 근간

이는 전문가 대 제너럴리스트의 트레이드오프에 대해 흥미로운 함의를 갖습니다. 인간의 경우 이런 트레이드오프가 존재하는데, 한 주제에 전문화하는 데 소비한 시간은 일반화에 쓰이지 않기 때문입니다. 기계의 경우에는 그렇지 않습니다. 일부 모델은 10000배 더 많은 연산을 누릴 수 있습니다.

또 다른 비유는 드래곤볼의 "정신과 시간의 방"입니다. 방 안에서 1년 동안 훈련하면 밖에서는 겨우 하루밖에 지나지 않습니다. 배수는 365배입니다. 기계의 경우 훨씬 더 높습니다. 따라서 더 많은 연산을 하는 강력한 제너럴리스트가 종종 전문가보다 특정 영역에서 더 뛰어난 경우가 많습니다.

소형 모델, 전문가 모델은 결국 미래에 효용이 없다

쓸모가 있을려면 어떤 형태여야 할까?

• 대형 모델보다 압도적으로 저렴해야한다?