주민건

하지만 여기서, 만약 이 파란색 선을 확장해서 탐색을 추가함으로써 얻는 성능과 일치하려면 얼마나 멀리 확장해야 할지 본다면, 그 답은 100,000배입니다. 그래서 단지 탐색을 추가하는 것만으로도 모델을 100,000배 확장하는 것과 동등한 효과를 얻을 수 있었습니다. 제가 3년 동안 100배 확장하는 데 성공했을 때와 비교하면 말이죠.

모델 크기를 키우기 보단 추론 (계획) 시간을 늘리는게 비용 측면에서 효율적이다

기본적으로 하나비에서는 당신이 어떤 상태에 있는지에 대한 불확실성이 있습니다. 그래서 당신이 어떤 상태에 있을 수 있는지에 대한 믿음 분포가 있고, 게임에서 취할 수 있는 20가지 다른 행동이 있습니다. 그래서 우리는 그저 이렇게 말했습니다. 좋아, 우리가 있을 수 있는 이 다른 상태들 각각에 대해, 카드 1장 내기, 카드 1장 버리기, 빨간색 힌트 주기 등의 다른 행동들이 있습니다.

그 행동을 취하고 나서 게임의 나머지 부분을 우리의 정책에 따라 플레이한다면 우리의 기대 가치가 어떨지 보기 위해 여러 번의 롤아웃을 수행해 봅시다. 우리는 약 1000번의 롤아웃을 수행하여 각 행동에 대한 기대 가치의 좋은 추정치를 얻고, 그 다음 가장 높은 기대 가치를 가진 행동을 선택합니다. 여기 성능이 어떤지 보여드리겠습니다.

휴리스틱한, 수작업으로 만들어진 봇으로, 약 25%, 아마도 28%의 게임에서 승리합니다. 이것은 DeepMind 논문에서 소개된 알고리즘으로, 딥 Q 네트워크 봇이며 약 45%의 승률을 얻었습니다. 그리고 이것은 하나비를 위한 딥 RL 알고리즘에 대한 일련의 논문들 중 하나로, 점점 더 높은 성능을 얻었습니다. 우리 논문 발표 당시 최신 것으로, 약 58%의 점수를 얻었습니다.

이것은 다른 봇들에 이 탐색 알고리즘을 추가했을 때 얻을 수 있는 결과입니다. 28%만 얻던 수작업으로 만든 휴리스틱 봇에 상상할 수 있는 가장 단순한 탐색을 추가하면, 즉 취할 수 있는 모든 다른 행동들에 대해 많은 롤아웃을 수행하고 가장 높은 기대 가치를 가진 것을 선택하면, 성능이 거의 60%로 향상되어 이전의 모든 딥 RL 봇들을 바로 이겼습니다. 이는 테스트 시 1초 동안 단일 CPU 코어를 사용한 것입니다.

그리고 아름다운 점은 이를 다른 모든 딥 RL 봇들 위에 추가할 수 있다는 것이었습니다. 최신의 뛰어난 딥 RL 봇에 이를 추가하면 성능이 더욱 향상되어 약 72%에 도달했습니다. 그리고 이는 한 플레이어에 대해서만 탐색을 수행했을 때의 결과입니다.두 플레이어 모두에 대해 이를 수행하면, 그것이 초록색 막대들인데, 성능이 더욱 향상된 것을 볼 수 있습니다. 또한 지적해야 할 점은 이 게임의 상한선이 100%가 아니라는 것입니다. 왜냐하면 절대 이길 수 없는 카드 분배가 있기 때문입니다. 실제로 가능한 최고 성능은 아마도 90% 정도일 것입니다.

추론 (몬테카를로 트리 서치) 할 수 있도록 했을 뿐인데 성능이 월등히 좋아짐

사실, 2021년에 발표된 정말 좋은 논문이 있습니다. 그냥 아카이브에 올라갔습니다. 앤디 존스는 현재 Anthropic에 있는데, 그는 알파제로와 같은 기술을 사용하여 헥스 게임에 대한 많은 스케일링 법칙을 연구했습니다.

그는 기본적으로 10배의 훈련 컴퓨팅이 15배의 테스트 시간 컴퓨팅과 동등하다는 트레이드오프가 있다는 것을 발견했습니다. 이것이 의미하는 바는 이 도메인에서 테스트 시간 컴퓨팅의 양을 15배 증가시킴으로써 훈련 컴퓨팅을 10배 증가시키는 것과 동등한 효과를 얻는다는 것입니다. 이것이 왜 중요할까요? 음, 만약 여러분이 예를 들어 10억 달러가 드는 시스템을 훈련시키고 있고 성능을 더 향상시키고 싶다면, 그것을 10배로 늘려 10억 달러에서 100억 달러로 갈 수 있거나, 아니면 추론 비용을 1센트에서 15센트로 증가시킬 수 있습니다.

15배의 test-time computing은 10배의 (pre) train computing 효과

좋습니다, Cicero의 작동 방식은 보드 상태와 대화 기록을 입력으로 받아 대화 조건부 행동 모델에 입력합니다. 이 모델은 다시 대화와 보드 상태를 입력으로 받아 현재 턴에서 모든 플레이어가 무엇을 할지 예측하려고 합니다. 이 행동들은 계획 엔진에 입력됩니다.

그리고 다시 말하지만, 이것이 Cicero의 새로운 점 중 하나라고 생각합니다. 오늘날의 많은 언어 모델에서는 볼 수 없는 것인데, 모든 플레이어들이 무엇을 할 것인지와 우리가 무엇을 할 것이라고 생각하는지에 대한 예측을 반복하고, 포커에서 했던 것과 비슷한 방식으로 여러 번의 루프를 돌며 이러한 예측을 정제한다는 것입니다. 그리고 이는 우리가 결국 플레이하게 되는 행동으로 이어지지만, 또한 우리의 대화 모델을 조건화하는 이러한 의도, 이러한 행동들로도 이어집니다. 즉, 이번 턴에 어떤 움직임을 해야 할지, 다른 플레이어들이 이번 턴에 무엇을 할 것이라고 생각하는지를 계획한 후, 우리는 그 계획들을 대화 모델에 입력하고, 그 계획들에 따라 우리의 대화를 조건화한 다음, 그에 따라 메시지를 출력합니다. 그리고 다시 말하지만, 이것이 Cicero에 대해 과소평가된 점 중 하나라고 생각합니다. 즉각적으로 행동하는 전형적인 언어 모델이 아니었다는 것입니다.

성능 면에서는, Cicero가 결국 상위 10%의 플레이어 중에서 두 번째로, 5게임 이상을 플레이한 19명의 플레이어 중 2위를 차지했고, 평균 인간 점수의 2배 이상을 기록했습니다.

외교 게임에서 상대방의 플레이를 예측하고 앞 수를 계획하고 말을 생성하는 모델

좋습니다, 여기에 일반적인 경향이 있습니다. 어떤 문제에 대해 왜 계획이 그렇게 많은 도메인에서 작동하는 걸까요? 그리고 제가 생각하기에 근본적인 이유 중 하나는 '생성자-검증자 격차'라고 부를 수 있는 것입니다. 기본적으로, 어떤 문제에서는 좋은 해결책을 검증하는 것이 그것을 생성하는 것보다 훨씬 쉽습니다. 예를 들어, 포커에서는 균형 상태에 있는지 검증하는 것이 그것을 계산하는 것보다 훨씬 쉽습니다.

계획이 잘 동작하는 이유는? 검증하는게 생성하는 것보다 쉬워서

체스에서는 정말 좋은 보드 상태에 있는지 검증하는 것이 그 매우 좋은 보드 상태로 가는 경로를 찾는 것보다 훨씬 쉽습니다. 그리고 스도쿠와 같은 것에서는 스도쿠 퍼즐의 해답을 검증하는 것이 그 해답을 찾는 것보다 훨씬 쉽습니다. 이는 퍼즐, 수학, 프로그래밍 증명과 같은 도메인에서도 마찬가지입니다.

증명을 검증하는 것이 증명을 생성하는 것보다 훨씬 쉽습니다. 이것이 사실이 아닌 일부 도메인도 있습니다. 예를 들어, 정보 검색에서는 그렇지 않습니다.

제가 여러분에게 부탄의 수도가 무엇인지 물어본다면, 10가지 다른 선택지를 줄 수 있습니다. 하지만 그것이 여러분 대부분에게 정답이 무엇인지 말하는 데 실제로 도움이 될 것 같지는 않습니다. 또한 이미지 인식과 같은 것들도 마찬가지입니다.

이러한 도메인들에서는 검증이 생성보다 그다지 쉽지 않습니다. 그리고 이러한 도메인에서는 계획이 큰 차이를 만들지 않을 것으로 예상됩니다. 하지만 생성자-검증자 격차가 있고 우리가 매우 좋은 검증자를 가지고 있다면, 우리는 생성 과정에 더 많은 계산을 투자할 수 있고 좋은 해결책을 찾았을 때 검증할 수 있습니다.

검증이 생성보다 쉬운 도메인 예시와 쉽지 않은 도메인

쉽지 않은 도메인에서 좋은 검증자를 가진다는 건 그 도메인을 장악할 수 있다는 말

언어 모델에서 테스트 시간 컴퓨팅의 스케일링은 어떤 모습일까요?

그것의 사례들이 있습니다.그리고 다시 말하지만, 저는 사람들이 그러한 기술들이 만드는 차이를 과소평가한다고 생각합니다. 가장 단순한 것은 합의(consensus)라고 불리는 알고리즘입니다. 기본 아이디어는 하나의 해결책만 생성하는 대신 여러 개의 해결책을 생성하고 가장 일반적인 것을 선택하는 것입니다.

Minerva라는 논문이 있습니다. 여러분 중 일부는 수학 벤치마크라고 불리는 것에 대해 알고 계실 것입니다. 이것은 벤치마크입니다. 말 그대로 수학이라고 불립니다. 그리고 기본적으로 고등학교, 대학 수준의 많은 어려운 수학 문제들을 포함하고 있습니다. 사람들은 이 벤치마크에서 50% 성능에 도달하는 데에도 매우 오랜 시간이 걸릴 것이라고 생각했습니다.

하지만 2022년에 구글은 Minerva라고 불리는 이 봇에 대한 논문을 발표했고, 수학 벤치마크에서 50% 이상을 얻었습니다. 이는 LLM 커뮤니티의 사람들에게 매우 놀라운 일이었습니다. 왜냐하면 수학은 LLM이 정말 못하는 매우 어려운 작업 중 하나로 여겨졌기 때문입니다. 그들은 성능을 50%로 올리기 위해 많은 일을 했습니다.

하지만 그들이 사용한 것 중 하나가 합의였습니다. 그들은 많은 해결책을 생성하고 단순히 가장 일반적인 것을 반환했습니다. 그리고 그것이 실제로 Minerva의 성능을 33.6%에서 50.3%로 끌어올렸습니다. 1000개의 샘플을 생성함으로써 말이죠. 하지만 합의에는 한계가 있습니다.예를 들어, 합의를 하는 것은 정말 쉽습니다. 답으로 반환해야 하는 단일 숫자가 있을 때 합의를 할 수 있습니다. 하지만 예를 들어 증명을 작성해야 할 때는 합의를 하는 것이 훨씬 더 어렵습니다. 왜냐하면 같은 증명을 여러 번 생성하지 않을 것이기 때문입니다.

하지만 할 수 있는 다른 것들이 있습니다. 또 다른 하나는 n개 중 최선(best of n)입니다. 여기서의 아이디어는 생성된 것이 얼마나 좋은지 점수를 매길 수 있는 보상 모델을 가지고 있다는 것입니다. 그리고 첫 번째 것을 반환하는 대신, n개의 해결책을 생성한 다음 보상 모델이 가장 좋다고 판단하는 것을 반환합니다. 충분히 좋은 보상 모델이 있다면, n개 중 최선이 합의를 이깁니다. 하지만 많은 경우에 보상 모델의 품질에 의해 병목 현상이 발생합니다. 실제로 보상 모델이 매우 좋지 않다면, 여기서 볼 수 있는 것과 같은 과적합 동적을 보게 될 것입니다. x축에는 생성하고 있는 해결책의 수가 있고 y축에는 테스트 시간 성능, 해결책, 점수가 있습니다. 그리고 처음에는 더 많은 해결책을 생성하고 보상 모델에 따라 최선의 것을 선택함에 따라 성능이 올라가지만, 결국에는 과적합되어 내려가는 것을 볼 수 있습니다. 따라서 매우 좋은 보상 모델이 없다면, 이것은 합의보다 더 나쁠 수 있습니다.

이것은 정답이 있는 도메인에서 매우 유용합니다. 체스가 좋은 예인데, 여러분은 이겼거나 졌다는 것을 알 수 있고, 스도쿠도 마찬가지로 여러분이 그것을 풀었는지 풀지 못했는지 알 수 있습니다. 우리가 이것들보다 더 잘할 수 있을까요?

실제로 OpenAI가 최근에 발표한 논문이 있습니다. 약 1년 전에 온라인에 공개되었지만, 공식적으로는 몇 주 전 ICLR에서 발표되었습니다.이것은 "단계별로 검증하자(Let's Verify Step by Step)"라고 불립니다. 그들은 프로세스 보상 모델이라는 아이디어를 소개했습니다. 그 아이디어는 최종 해결책만 검증하는 대신 모든 단계를 개별적으로 검증하는 것입니다. 그래서 그들은 각 단계를 거치면서 "이것이 맞는가? 틀린가?"를 확인합니다. 만약 틀렸다면, 그들은 그냥 전체 해결책에 대해 틀렸다고 표시합니다.

좋습니다, 이것은 어떻게 비교될까요? 이 그래프에서 우리는 생성된 해결책의 수가 1000 또는 2000까지 올라가는 것을 볼 수 있습니다. 그리고 이것은 수학 벤치마크에서의 성공률입니다.이 회색 선은 합의(consensus), 또는 다수결 투표라고도 불립니다. 처음에는 올라가지만 결국에는 평평해지는 것을 볼 수 있습니다. 하지만 실제로 꽤 큰 향상을 준다는 것을 볼 수 있습니다. 그래서 단순히 합의를 함으로써 약 60%에서 거의 70%로 올라갑니다. n개 중 최선(Best of n)을 사용하면 더 큰 향상을 얻고 72.4%까지 올라갑니다. 정말 좋은 보상 모델로 모든 단계를 검증하는 이 프로세스 보상 모델을 사용하면 더 큰 향상을 얻고 78.2%까지 올라갑니다. 그리고 여전히 더 많은 샘플을 생성하면 그 선이 더 올라갈 것 같아 보입니다.

이에 대한 몇 가지 예가 있습니다. 제 생각에 이것은 특히 정말 흥미로운 예인데, 이것이 수학 문제이기 때문입니다. 여러분에게 100도의 탄젠트 더하기 100도의 사인 4배를 단순화하라고 요구하고 있습니다.이것을 순수한 GPT-4 모델에 제시하면, 1000번 중 1번만 맞출 것입니다. 하지만 모든 단계를 검증하는 과정을 거침으로써, 1000개의 샘플을 생성한 다음 보상 모델이 맞다고 하는 것만 취하면, 이 문제에 대한 성공률이 크게 올라갈 것입니다.

합의 (consensus or voting) < 최선 (Best of n) < 과정 검증 (Verify step by step)

하지만 제가 지적하고 싶은 한 가지는 이 모델들의 추론 비용이 여전히 꽤 낮다는 것입니다. 여러분은 지금 당장 ChatGPT에 가서 질문을 할 수 있고, 매우, 매우 낮은 비용으로 기본적으로 즉시 응답을 받을 수 있습니다. 그리고 그것이 그렇게 될 필요는 없습니다.

우리가 살펴본 많은 이 게임들에서는 그렇지 않았습니다. 언어 모델의 경우에도 그럴 필요가 없을 수 있습니다. 그래서, 음, 다음 목표는, 음, 제가 지금 작업하고 있는 것은 일반성입니다.

우리가 정말로 일반적인 방식으로 추론 계산을 확장할 수 있을까요? 음, 이것은 매우 어려운 문제입니다. 알다시피, 우리는 이러한 기술들, 추론 계산을 확장하는 이러한 탐색 기술들을 많이 개발했지만, 그것들은 항상 우리가 살펴본 도메인에 매우 특화되어 있었습니다. 그리고, 그리고 제가, 제가 작업하고 있고 다른 사람들이 작업하고 있는 것은 매우 일반적인 방식으로 그것을 하는 것을 개발하는 것입니다.

이것은 테스트 시간에 훨씬 더 높은 계산을 사용하는 것을 포함하겠지만, 그것은 훨씬 더 능력 있는 모델을 의미할 것입니다. 그리고 제 생각에 많은 도메인에서 우리는 그 트레이드오프를 기꺼이 할 것입니다. 네, ChatGPT의 경우처럼 코딩 작업을 위한 코파일럿을 원할 때 응답을 기다리는 데 5분을 쓰고 싶지 않을 수 있지만, 우리가 답변을 위해 몇 시간, 며칠, 심지어 몇 주를 기다릴 수 있는 많은 질문들이 있습니다.

리만 가설의 증명이나 새로운 생명을 구하는 약물, 또는 다음 해리 포터 소설과 같은 것을 위해 그런 종류의 비용을 기꺼이 지불할 수 있다고 상상할 수 있습니다. 그리고 제 생각에 매우 중요하게, 이것은 우리가 이 모델들을 더 확장함에 따라 어디로 가고 있는지에 대한 감각을 줄 수 있습니다. 이것은 본질적으로 이 모델들이 더욱 능력 있게 됨에 따라 앞으로 AI의 상태가 어떨지에 대한 미래의 창을 우리에게 제공할 수 있습니다.

현재 기준으로 GPT 40의 추론 비용은 매우 저렴하고, 이제야 o1에서 비싸지기 시작했다.

도메인에 특화된 추론 절차가 존재할 것이다.

답변을 얻는데 기꺼이 시간을 내어 줄 아주 어려운 문제가 있는 도메인을 노리자.

음, 저는 또한 제안하고 싶습니다. 알다시피, 저는 n개 중 최선과 같은 것들에 대해 언급했는데, 병목 현상은 정말로 검증자, 보상 모델의 품질에 있습니다. 음, 여러분은 외부 검증자가 있는 영역에서 작업하는 것을 고려해 볼 수 있습니다. 왜냐하면 그렇게 하면 여러분은, 음, 보상 모델의 품질에 의해 병목 현상이 생기는 것을 피할 수 있기 때문입니다.

사람이 검증자라는 얘기를 하는 듯하다

• 답변을 얻는데 기꺼이 시간을 내어 줄 아주 어려운 문제가 있는 도메인을 노리자.
• 해당 도메인에 특화된 추론 절차를 정의하자.
• 생성보다 검증이 쉬운 문제를 찾자.
• 해당 도메인의 좋은 검증자를 확보하자.

고장 진단을 예로 들어보자

1. 고장 진단을 단계별로 풀어서 원인부터 결과까지 도출하는 LLM을 만든다
   (전문가의 고장 진단 생각 절차를 본따서 만든다)
2. 현장 진단 엔지니어가 각 단계에 대한 피드백을 준다
   (생각의 단계에서 특정 부분이 잘못되면 뒷 부분도 잘못됐다고 라벨링)
3. 사람의 수준 정도로 모델 정확도가 도달하면 사람의 도움 없이 인공지능 모델끼리 검증하고 생성하도록 만든다

알고리즘 문제해결능력 교육을 예로 들어보자

1. 6단계의 생각 절차를 똑같이 밟는 LLM을 만든다
2. 6단계 중 어떤 부분이 잘못되었는지 피드백을 준다
3. 사람의 수준 정도로 모델 정확도가 도달하면 지들끼리 검증하고 생성하게 한다

알고리즘 문제해결능력 교육의 예시는 내가 현장에서 코칭하는 방식이었다

1. 수강생이 모르겠다고 했을 때 6단계 중 어떤 단계에서 어려움이 있었는지 파악한다
2. 이후 해당 단계에서 다음 단계로 넘어갈 수 있는 힌트를 준다
3. 그리고 몇 단계에서 어려움이 있었다고 수강생에게 인지시켜 줬다

위 예제를 일반화 시켜보자

1. 도메인 전문가의 문제 해결 생각 절차를 추출한다
2. 추출한 절차를 lang-graph로 제작한다
3. 생성된 결과물을 도메인 전문가가 평가하도록 만든다
4. 학습에 사용될 충분한 데이터양을 확보한다
   (Let's verify step by step 논문의 경우 80만개)
5. 학습을 진행한 이후 사용한다

o1의 technical report가 나오면 위 일반화 과정을 업데이트한다

1. 도메인 전문가가 처한 상황을 잘 정의한다
2. 인센티브 모델을 잘 만든다
3. 문제를 잘 해결했는지 확인한다

OpenAI o1 팀 이야기 체리픽

Q4: 여러분 모두에게 그런 ‘아하’ 순간이 있었나요? 예를 들어, GPT-2, GPT-3, GPT-4를 훈련시켰을 때, 모델이 막 완성되어 모델과 대화를 시작하고 사람들이 ”와, 이 모델 정말 대단해”라고 말했던 첫 순간 같은 것 말입니다. 추론을 위한 모델을 훈련시킬 때, 가장 먼저 떠오르는 것은 인간이 자신의 사고 과정을 작성하고 그것을 훈련시키는 것입니다.

zoomgzoomg

이전 글

뭐하고 살지?

막연히 창업을 해야겠다는 생각을 가지고 10대와 20대 초반을 보내고, 아는 형님의 스타트업에 올라타 어깨너머로 구경하며 20대 중반을 보냈다. 회사 창업을 간접적으로 경험을 하고나니 내가 진짜 무얼하고 싶은지, 무엇을 하면서 살고 싶은지에 대한 방향성을 잃어버렸다! 삶의 목표가 희미해진채로 대학원 생활을 하고 전문연으로 취업한 지금 이 시점에서 이대로 계속 살다간 내 삶이

zoomgzoomg

이전 글에서 직무 관점에서 뭐하고 살지 고민했다면, 이번 글에서는 회사의 형태, 비지니스 모델의 관점에서 나한테 맞는 회사는 어디인지 생각해보려 한다.

회사의 크기 관점

나는 2개의 회사 경험이 있다

1. 10인~20인 규모의 에듀테크 회사, 입사 후 Seed 투자, 시리즈 A 투자를 받았다
2. 50인 규모의 원자력 발전소 밸브 진단 및 로봇 개발 회사, 투자 없이 매출 내면서 성장

신수정님의 글 내용과 같이 2번 회사는 풀고자 하는 문제가 정해져있고 이를 정확하고 효과적으로 해결하는데에 시간을 많이 투자한다. 1번 회사에 비해 상대적으로 긴 호흡으로 업무를 진행한다. 빠르게 해결해서 확인하는 과정이 필요하지 않았다. 오히려 빠르게 무언가 되는걸 보여주면 저평가를 받고 왜 이렇게 만들었냐는 말을 많이 들었다.

반면에 1번 회사는 빠른 호흡으로 산발적으로 업무가 진행되며, 제작과 동시에 배포로 이어져서 사용자의 반응을 확인할 수 있었다. 배포한 내용에 대해 회고하고 발전시킬 시간도 없이 다른 걸 만드는데에 시간을 써야했다. 시장에 맞는 제품을 찾아 헤매는 과정이라 생각된다. 그나마 궤도에 올랐다고 생각되는 서비스나 제품은 어느정도 회고의 시간이 있었으나 매우 짧았다. 다른거 하느라 바쁘게 만들어서.. 타겟과 문제가 명확하지 않았던거 같다. 대표가 문제 정의와 해결을 혼자서 논의없이 하려고 해서 원하던 회사 생활은 아니었다.

두 경험과 나의 성향을 토대로 나와 맞는 곳은 타겟의 해결하고자 하는 문제가 명확한 작은 회사이다. 인공지능 모델 정확도 개선 업무로 비유하면 94% 정확도를 가진 모델을 97%로 높이는 일에는 재미를 크게 느끼지 못한다. 웹 프론트엔드 개발을 예로 들면 로딩 시간이 2초인데 1초로 개선하는데에도 마찬가지로 흥미가 없다. 세부적인 문제보다는 큼지막한 단위로 문제를 풀고 개선하는게 재미있다. 사용자가 갖고 있는 문제를 결국 해결하게 되었는지, 사용자가 갖고 있는 진짜 문제를 찾았는지가 더 중요하다.

비지니스 모델 관점

1. B2C로 알고리즘 문제풀이 교육을 진행하다가, 퇴사 직전에 피봇팅하여 인공지능 솔루션을 공급하는 B2B 회사로 전환했다.
2. 발전소를 대상으로 사업을 하는 회사기에 B2G이다.

대상 고객 관점으로 보면, B2C, B2B, B2G는 다음과 같다

• B2C: 불특정 다수
• B2B: 회사 의사결정권자 (C레벨)
• B2G: 정부

B2C의 고객인 불특정 다수는 자신이 무엇을 원하는지 잘 모른다. 원한다고 해서 만들어도 진짜 사용할지는 모른다. B2B의 경우 고객사가 크다면 C레벨까지 제품이 만들어져 도달하기까지 중간 의사결정자가 다수 있고, 한 단계씩 만족시키며 올라가야한다. 중간 과정을 모두 만족시켜도 최종 의사결정자가 만족 할지는 모른다. 하지만 B2C와 달리 대화를 나눌 대상이 존재한다. 만들어야할 제품이 B2C보다는 명확하다. B2G의 경우 요구사항이 모두 정의되어 나온다. 하지만 제품을 제작할 권한을 따오는게 B2C, B2B보다 훨씬 어렵다.

• 요구사항 정의 난이도: B2C > B2B > B2G
• 사업 따오기 난이도: B2C < B2B < B2G
• 고객 만족 난이도: B2C > B2B > B2G

나는 정의된 요구사항을 잘 만들기보다는 요구사항을 정의해나가며 고객의 문제를 해결해나가는 과정을 즐긴다. 불확실한 내용을 확실하게 만들어가는게 재미있다.

결론

The Product-Minded Software Engineer

Product-minded engineers are developers with lots of interest in the productitself. They want to understand why decisions are made, how people use theproduct, and love to be involved in making product decisions. They’re someonewho would likely make a good product manager if they ever decide to gi…

The Pragmatic EngineerGergely Orosz

제품을 생각하는 소프트웨어 엔지니어로 실사용자에 미쳐있는 B2C (낮은 확률로 B2B) 회사에서 일하기를 희망한다.

The Product-Minded Software Engineer

Product-minded engineers are developers with lots of interest in the productitself. They want to understand why decisions are made, how people use theproduct, and love to be involved in making product decisions. They’re someonewho would likely make a good product manager if they ever decide to gi…

The Pragmatic EngineerGergely Orosz

Product-Minded Software Engineer (제품을 생각하는 엔지니어)
1. 제품에 대한 의견을 적극적으로 제시합니다.
2. 비즈니스, 사용자에 대해 이해하는데 시간을 투자합니다.
3. 왜 이 일을 하는지 생각하고, 스스로 답을 찾고자 합니다.
4. 훌륭한 의사소통 능력을 가지고 비엔지니어와 훌륭한 관계를 맺습니다.
5. 제품 <> 엔지니어링 사이의 절충안을 미리 제공합니다.
6. 엣지케이스는 실용적인 처리를 합니다.
7. 빠른 제품 검증 주기를 갖습니다.
8. 사용자 행동과 비즈니스 지표에 대한 결과를 얻은 후에만 작업이 완료되었다고 간주합니다.
9. 반복적인 제품 개선을 통해 배웁니다.

컴공, 디자인 취준생 분들에게 하고 싶은 말 | Disquiet*

IT 프로덕트를 만드는 메이커가 대다수는 창업자가 아닌 실무자 분들과 취준을 하는 분들입니다. 그러다 보니 이분들과 대화를 할 기회가 많습니다. 그리고 요즘 구직이 어렵다면서 아래 고민들을 많이들 얘기해 주시고요.“요즘 신입 채용 공고가 없어요”“서류 넣어도 계속 떨어...

Disquiet*

회사 입장에서 채용은 최소 N천만원, N개월이라는 시간을 사용하는 큰 비용이 드는 의사결정이고, 그런 결정을 하는 데엔 분명한 이유가 있습니다.

그 문제를 내가 해결해 줄 수 있다는 것을 증명하는 것입니다. 최소한 잠재력이 있다는 것을 알려주어야 합니다.

결국 문제를 적절히 해결해서 돈을 벌어다 줄 수 있는 사람이 채용될 수밖에 없다

어떻게 그 판단을 할 수 있었을까?

시니어의 솔루션만 전달하는 대신 그 안의 인지 과정, 즉 ‘그 판단과 의사결정을 어떻게 할 수 있었는지’까지 같이 전달해보자. 주니어의 성장 속도가 판이하게 달라질 것이다.

Steady StudyBae Hwidong

일반 사람들은 사고 절차에 대한 관심이 적음

전문가는 사고 절차에 대한 관심이 높음?

CDM(Critical Decision Method)와 같은 방법론을 챗봇으로 손쉽게 제공할 수 없을까?

인지작업 분석(Cognitive Task Analysis, CTA)

[디버깅 전문가를 만나다] 0. 인지작업 분석으로 뽑아낸 전문가들의 생각과 행동

인지작업 분석으로 디버깅 전문가들의 패턴을 추출했습니다. 전문가들이 주로 하는 생각과 행동, 자주 쓰는 도구와 습관이 있더군요. 그리고 이 모든 건 훈련을 통해 배울 수 있는 것들이었습니다.

Steady StudyBae Hwidong

[Biomimicry] 자연모방 역량모델로 교육하기

강의, 워크숍, 컨설팅 경험을 활용한 자연모방 역량모델 | [자연모방 교육 설계하기] 회사에서 자연모방 교육 설계를 위한 회의를 주도했다. 올해 팀에 OKR을 도입했는데 (노하우를 전수해주신 AC2의 홍영기 님에게 감사를) 올해 OKR 중 하나로 교육-커뮤니티를 설계해야 했기 때문이다. [배운 거 써먹기] 팀에 교육 설계를 위한 새로운 방식을 제안했다. 역량모델을 만들고 이로부터 교육 application들을 만

Brunch Story무명

전문가의 인지절차를 추출해내는 방법론

박시용님의 요약

33. 단순화하는건 매우 어렵다. 일종의 주문처럼 반복하는 아주 기본적인 제1원리 알고리즘이 있다.먼저 요구사항에 의문을 제기하고 요구사항을 덜 어리석게 만드는것이다.요구사항은 항상 어리석고, 그 요구사항을 만드는 사람도 완벽하지 않다. 여기서부터 시작해야 하는것.

34. 두번째로는 어떤 단계나 부품, 프로세스 단계를 완전히 삭제하려고 노력해야 하는것이다. 삭제한것의 최소 10%를 다시 추가해야 한다면 충분히 삭제하지 않은것. 다소 비논리적으로 보일 수 있지만, 사람들은 종종 다시 추가하도록 강요받지 않았다는 이유로 성공했다고 느낀다.

35. 세번째는 최적화하거나 단순화하려고 노력하는것이다. 이것은 쉽지 않다. 똑똑한 엔지니어들의 가장 흔한 실수는 존재해서는 안되는것을 최적화 하는것이다.

36. 네번째는 주어진 모든것은 그것보다 더 빠르게 할 수 있다는것이다. 현재 속도가 어떻든 더 빠르게 할 수 있다. 그러나 삭제하고 최적화하려고 노력하기 전에는 속도를 높이지 말아야 한다.

37. 다섯번째는 자동화 하는것이다. 나는 예전에 자동화하고, 속도를 높이고, 단순화 한다음 삭제했다. (앞선 5가지 절차를 거꾸로 함) 그 실수가 너무 고통스러웠어서 이 5가지 주문을 만든것이다.

38. 이 주문을 적용한 멤피스에 있는 슈퍼컴퓨터 클러스터는 불과 몇주만에 만들어졌다. 나는 새벽까지 있으면서 모든 사람이 하고 있는 모든 단계들을 살펴보았다. 그래야 뭔가가 어리석거나 비효율적일 때 알아차릴 수 있다.

39. 나는 최전선에 있는 사람들이 하는 일을 직접 몇 번이라도 해보려고 노력한다. 광섬유 케이블을 연결하고, PCI 연결을 진단하는 등의 일이다. 대규모 클러스터의 제한 요소는 주로 케이블링이다. 슈퍼컴퓨터 센터를 돌아다니면서 커다란 뇌속을 걸어다니는 느낌을 받았다.

단순화 알고리즘 (엔지니어링 알고리즘)

1. 먼저 요구사항에 의문을 제기하고 요구사항을 덜 어리석게 만드는것이다.
   (요구사항은 항상 어리석고, 그 요구사항을 만드는 사람도 완벽하지 않다.)
2. 어떤 단계나 부품, 프로세스 단계를 완전히 삭제하려고 노력해야 하는것이다.
   (제한것의 최소 10%를 다시 추가해야 한다면 충분히 삭제하지 않은것.)
3. 최적화하거나 단순화하려고 노력하는것이다.
   (똑똑한 엔지니어들의 가장 흔한 실수는 존재해서는 안되는 것을 최적화 하는것이다. )
4. 주어진 모든것은 그것보다 더 빠르게 할 수 있다는것이다.
   (삭제하고 최적화하려고 노력하기 전에는 속도를 높이지 말아야 한다.)
5. 자동화 하는것이다.

Jaeyun Henry Lee on LinkedIn: #ai과학자 #연구자동화 #머신러닝 #오픈소스 #과학기술혁명 #aiinscience | 14 comments

아주 매우 흥미로운 논문이 등장했네요.🚀 &#39;The AI Scientist&#39; AI 관심있는 분들이라면 이번 주에 꼭 봐야할 논문입니다. 🔍 이 논문의 특별한 점은?-세계 최초로 과학 연구 전 과정을 자동화한 AI 시스템을 소개-아이디어 구상부터 논문 작성, 심지어 동료… | 14 comments on LinkedIn

LinkedInJaeyun Henry Lee

Hyun Hong on LinkedIn: AI 어플리케이션을 개발하는 스타트업의 생각 (f. 스타트업에게 Moat이란?)의식의 흐름대로 써서 가독성이 좋진 않다❗ 1…

AI 어플리케이션을 개발하는 스타트업의 생각 (f. 스타트업에게 Moat이란?)의식의 흐름대로 써서 가독성이 좋진 않다❗ 1. 이제는 진부해져버린 일차원적인 유즈케이스 (챗봇, 써머리, 추출, 등) 조차도, 도메인 전문성에 필요한 곳에서, 현업에서 쓰일 수 있는 수준인가? 라고…

LinkedInHyun Hong

가설

전문가의 생각 절차를 langgraph로 구현하면 Agent가 만들어진다고 생각
(langgraph는 공부해두면 쓸모있는 프레임워크로 판단 됨)

사용처

무작정 Agent를 만들어서 전문가를 대체하는게 좋은가를 따져봤을 때는 아닌듯

오히려 Agent와 전문가의 협업이 어려워져서 차라리 전문가의 일 효율을 높혀주는 tool을 만드는게 효과적일 수도 있음

나의 지식 선에서 어디에 쓰일지 생각을 해보면, 사람을 늘려야 돼서 Scalability가 문제인 도메인에서 Agent가 효과적인 방법일거라 예상

예시

• 사람이 직접 사람을 가르쳐야하는 도제 교육 = 단위 시간에 한 사람 당 가르칠 수 있는 인원은 8명이 최대이기 때문

4. 이는 동양의 마스터리 법칙인 '수파리'와 대응된다.
수:  처음에는 스승이 가르쳐주는 기본을 철저하게 연마하되(수),
파: 기존의 형식을 깨고(파),
리:  자신의 길을 만들어 떠나는 것(리)

예시: 대한민국 펜싱 국가대표팀 전략

1단계: 유럽선수들에게 정통 펜싱기술을 배우려했다.
상대해주지 않는 유럽국가들을 하나하나 찾아 다니며 그들의 기술을 배우고 흉내내었다.

2단계: 그러다가 그들과 똑같이 해서는 그들을 이길수 없음을 깨달았다.
그들은 아주 어렸을때부터 펜싱을 자연스럽게 배운다. 팔 길이 또한 길다. 그들의 손 기술은 절대 따라갈수 없었다. 그들의 방식을 깨기로 했다.

3단계: 우리는 발을 이용하기로 했다.
빠른 발을 이용한 스피드로 상대를 허점을 찌르는 것이다. 상대 선수가 치고 들어오면 쏜살같이 달아나고, 날아오는 칼까지 뒷걸음질로 피하는 식이다. 이를 통해 1분 당 스텝수를 유럽 선수들의 2배 수준으로 높이도록 훈련했다. 펜싱은 손으로 한다는 통념을 깼다. 우리는 펜싱을 발로 한다.

예시: 돌고래유괴단

1. 광고 문법 파악
2. 틀에 박힌 문법 파괴, 발상의 전환
3. 재미, 화재 획득

예시: 미술을 배울 때

1. 트레이싱을 통한 연습
2. 자신만의 색체 입히기
3. 개성 있는 드로잉 획득

6. 그러므로 먼저 기존의 방식을 철저히 배우고 따라하라. 그러나 이후에는 이를 깨고 자신만의 강점을 살려 차별화를 만들어라. 그리고 떠나 자신만의 세계를 만들어라. 그것이 최고가 되는 고수의 길이다.

전문가의 생각 절차를 복사 후 수행

자신의 생각이 자라나서 틀이 보이고 이를 깨는 시도

자신의 길을 만들기