Q4: 여러분 모두에게 그런 '아하' 순간이 있었나요? 예를 들어, GPT-2, GPT-3, GPT-4를 훈련시켰을 때, 모델이 막 완성되어 모델과 대화를 시작하고 사람들이 "와, 이 모델 정말 대단해"라고 말했던 첫 순간 같은 것 말입니다.
추론을 위한 모델을 훈련시킬 때, 가장 먼저 떠오르는 것은 인간이 자신의 사고 과정을 작성하고 그것을 훈련시키는 것입니다. 제게 한 가지 '아하' 순간은 강화학습을 사용하여 모델이 자체적으로 사고 사슬을 생성하고 다듬도록 훈련시키면, 인간이 사고 사슬을 작성하는 것보다 더 나은 결과를 얻을 수 있다는 것을 발견했을 때였습니다. 이는 정말 이 방식을 확장하고 모델의 추론을 이런 방식으로 탐구할 수 있다는 '아하' 순간이었습니다.
전문가 (사람)의 사고방식이 필요하지 않은 이유
전문가의 사고방식보다 전문가의 사고방식이 탄생하게 된 환경 (강화학습에서의 environment)을 이해하는게 필요한 이유
Q8: o1을 어떤 방식으로 사용하고 있는지 들려주실 수 있나요?
저는 o1을 코딩에 사용하고 있습니다. 제 업무의 많은 부분이 코딩과 관련되어 있죠. 이제 저는 문제 정의에 더 집중하고 TDD(테스트 주도 개발)라는 방식을 사용합니다. 기능을 구현하는 코드를 작성하는 대신, 올바른 동작을 명시하는 단위 테스트를 작성하는 데 집중합니다. 그리고 나서 o1에게 실제 구현을 맡깁니다. 이렇게 하면 제가 중요한 것, 즉 높은 수준의 문제 해결에 집중할 수 있습니다.
또 다른 영역은 디버깅입니다. 이제 오류 메시지가 나오면 그냥 o1에 전달하고, 그러면 바로 해결책을 제시해줍니다. 즉시 해결하지 못하더라도, 적어도 더 나은 질문을 하거나 문제를 더 잘 생각할 수 있는 방법을 제시해줍니다. 이는 제 작업 방식에 정말 중요한 변화를 가져왔고, 다른 사람들에게도 도움이 되길 바랍니다.
저는 o1을 점점 더 학습에 활용하고 있습니다. 다양한 복잡한 기술 주제에 대해 물어볼수록, 이전 모델들보다 환각을 덜 일으키고 개념을 더 잘 설명한다는 것을 알게 되었습니다.
저는 o1을 브레인스토밍 파트너로 사용하는 것을 좋아합니다. 이는 매우 구체적인 머신 러닝 문제를 해결하는 방법부터 블로그 포스트나 트윗을 작성하는 방법까지 다양한 범위를 포함합니다. 예를 들어, 최근에 언어 모델 평가에 대한 블로그 포스트를 작성했는데, o1에게 블로그 포스트의 구조에 대한 아이디어, 특정 벤치마크의 장단점, 심지어 글쓰기 스타일에 대해서도 물어보았습니다. 최종 답변을 제시하기 전에 생각할 수 있기 때문에, 아이디어를 더 잘 연결하고 후보 아이디어를 수정하고 비평할 수 있습니다.
짧은 텍스트가 있고 그것을 더 창의적으로 만들거나 매우 다르게 만들고 싶다면, 이는 "다섯 가지 다른 아이디어를 주세요"라고 요청하기에 좋은 용도입니다. 또한 구조화되지 않은 생각들이 있다면, o1은 정말 뛰어난 사고 파트너가 됩니다. 아이디어가 있을 때 "이것들을 어떻게 연결해야 할까? 내가 무엇을 놓치고 있지?"라고 물어볼 수 있습니다. 최종 답변과 사고 과정을 읽음으로써 여러분은 훨씬 더 나은 결과를 얻을 수 있습니다.
저는 o1을 사용하여 우리의 내부 비밀 아이디어들을 시도해보고, 그것이 실제로 개선하려고 노력합니다.
독립적인 프로젝트에 대해 o1은 정말 좋습니다. 저는 GitHub 플러그인을 추가해야 했는데, GitHub 플러그인 추가에 대해 아무것도 몰랐습니다. 그래서 그냥 "PR에 대한 이러저러한 정보를 표시하는 GitHub 플러그인이 필요해"라고 말했더니, 코드를 그냥 생성해주었습니다. 저는 그냥 "이 코드를 어디에 붙여넣어야 하지? 나는 모르겠어"라고 물었고, o1은 "여기에 붙여넣으세요"라고 알려주었습니다. 그렇게 진행했죠.
많은 사람들에게 AGI(인공일반지능)를 실감하기는 어렵습니다. 모델이 여러분이 정말 중요하게 여기는 분야에서 인간보다 더 잘하는 것을 볼 때까지는 말이죠. 바둑 선수들과 체스 선수들에게는 몇 년 전에 그 순간이 왔을 것이고, 수학과 코딩을 정말 중요하게 여기는 우리에게는 지금 그 순간을 느끼기 시작하고 있는 것 같습니다.
코딩과 브레인 스토밍에 사용
바둑 선수와 체스 선수가 느꼈던 상실감을 곧 소프트웨어 엔지니어가 경험할 차례
Q9: 이 프로젝트의 일부 중에서, 정말 필요했지만 사람들이 그 중요성을 깨닫지 못할 수 있는 부분이 있나요?
우리의 가장 큰 대표 모델 훈련 실행뿐만 아니라 연구 실험을 수행하기 위한 대규모의 신뢰할 수 있는 인프라를 구축하는 것은 연구 자체만큼 흥미롭지는 않지만, 반드시 수행되어야 하며 전체 프로젝트의 성공에 엄청난 영향을 미칩니다.
OpenAI에는 연구 구조화 방식에 특별한 점이 있다고 생각합니다. 우리는 알고리즘적 발전을 신뢰할 수 있는 대규모 시스템을 구축하는 것과 동일하게 중요하게 여기며, 이러한 모델들을 훈련시키는 데 필요한 데이터셋을 구축하는 것도 마찬가지입니다. 저는 이런 점에서 OpenAI가 자랑스럽습니다. 이는 우리의 많은 대형 프로젝트들에서 일관된 패턴이었습니다.
우리가 새로운 것을 또 한 단계 확장할 때마다, 알고리즘적으로나 인프라 측면에서 새로운 문제들의 집합을 보게 됩니다. 우리는 확실히 두 가지 모두를 많은 집중력을 가지고 발전시킬 수 있는 능력을 키웠습니다.
저는 최종 모델이 말 그대로 아름다운 예술 작품이라고 느낍니다. 그것이 작동하도록 만들기 위해, 우리는 모든 단계가 작동하는지 확인해야 합니다. 우리는 모든 도전을 찾아 해결합니다. 저는 이것이 정말로 OpenAI가 운영되는 방식이라고 생각하며, 여기서 일하는 것이 매우 자랑스럽습니다.
또한 반드시 말씀드려야 할 것은, 여기에는 정말 훌륭한 사람들뿐만 아니라 따뜻한 마음을 가진 사람들이 있다는 것입니다. 저에게는 여기서 일하는 것이 정말 즐겁습니다. 저는 동료들과 함께 코딩하고, 잡담하고, 점심을 먹고, 대화를 나누고, 모델과 함께 이야기를 나눌 수 있어서 감사합니다.
모델을 잘 만들면 끝나는게 아님
모델을 잘 쓸 수 있도록 만드는데도 모델을 잘 만드는데 들었던 노력을 똑같이 해야 됨
전문가의 사고 방식 모방은 어떻게?
- 그저 policy와 reward를 잘 설계 했을 뿐, 전문가의 사고방식을 모방하지 않음
- 전문가가 처해있는 상황을 잘 묘사했을 뿐
OpenAI 연구자의 o1 활용법
코딩
- 원하는 결과물이 나올 수 있는 테스트 코드만 작성하고 나머지는 o1에게 맡긴다
(기능을 구현하는 코드를 작성하는 대신, 올바른 동작을 명시하는 단위 테스트를 작성하는 데 집중합니다. 그리고 나서 o1에게 실제 구현을 맡깁니다. ) - 독립적인 작은 프로젝트는 아예 맡긴다
("PR에 대한 이러저러한 정보를 표시하는 GitHub 플러그인이 필요해")
브레인스토밍
- 다양한 시각에서의 아이디어 제시
("다섯 가지 다른 아이디어를 주세요") - 구조화 되지 않은 생각 정리
("이것들을 어떻게 연결해야 할까? 내가 무엇을 놓치고 있지?")
인공지능 서비스가 성공하려면?
- 모델 개발 노력과 인프라 구축 노력을 동일하게 중요시 여겨야한다
- Research Scientist/Engineer, MLOps 둘 다 중요하다
소프트웨어 엔지니어의 업무 중 "코딩"이 사라질 예정
- 바둑기사 이세돌이 온몸으로 겪은 상실감을 코더가 곧 느낄 차례
- 우선 TDD를 열심히 체화 시켜야 됨
(원하는 결과를 잘 정의하는 능력)