주민건

1만 시간의 재발견

안데르스 에릭슨 박사는 ‘1만 시간의 법칙’의 핵심은 ‘얼마나 오래’가 아니라 ‘얼마나 올바른 방법’인지에 달려 있다고 강조한다. 즉, 1만 시간의 핵심은 ‘무턱대고 열심히 하기’가 아닌 ’다르게 열심히 하...

비즈니스북스안데르스 에릭슨.로버트 풀 지음, 강혜정 옮김

전문가는 일을 해결하는 절차를 아주 작고 세밀하게 쪼갤 수 있는 사람이다.

문제해결능력 코치를 오랫동안 할 때, 내가 사고하는 절차 및 지침을 적어본 적 있다.

사내에 다른 사람에게도 적용시키기 위함과 내 머릿속 절차를 구체화하여 각 항목 사이를 좀 더 세밀하게 생각해보기 위함이었다.

실제로 나 스스로에게는 많은 도움이 되었다. 사내의 다른 코치에게 도움이 되었는지는 잘 모르겠다. (아마 시스템화를 했다면 도움됐을거 같다)

위 영상에서 주목한 부분은 크게 2가지이다.

• 숙련된 전문가가 체크리스트로 시스템을 제작하여 자신의 멘탈 모델을 타인에게 주입시킨 점
• 전문가가 되기 위해 자신의 업무 절차를 생각해보고 각 단계를 점점 세분화 한다는 점

전문가가 되는 방법은 다음과 같다.

• 나보다 숙련된 전문가의 행동을 관찰하여 사고 및 행동 절차를 만든다.
• 내 생각 절차를 기록하여 지속적인 수정/관리를 통해 좀 더 명확하고 구체적으로 만든다.

수강생의 문제해결능력 증진을 위해 작성했던 글을 메모장에서 찾았다.

현재 나 스스로가 전문가가 되고자 하는 업무에 대해 아래와 같이 자세하게 정리할 수 있었으면 한다.

문제해결능력 코칭 지침서

코칭 목표 수강생의 문제해결능력을 증진시킨다.(어떠한 처음 보는 문제라도 풀 수 있도록 한다.)Lev.20까지 도달하게 함으로써 다양한 알고리즘을 익히게 한다.코딩 테스트에 합격할 수 있게 한다.문제해결절차 문제를 이해한다. (문제에서 구해야되는 값을 정의하고, 해당 값이 나올 수 있는 모든 상황을 생각해본다)풀이법을 개발한다. (문제를 해결하는데 필요한 절차 및 알고리즘을

zoomgzoomg

소프트웨어 엔지니어의 사고 절차는 어떻게 정의할 수 있을까?

1. 현실에서 일어나고 있는 상황을 모델링한다
2. 모델을 코드로 옮긴다

LLM 엔지니어의 사고 절차는?

1. General LLM과 RAG를 통해 해결 가능성을 확인한다
2. 한계(문제)를 발견하고 정의를 내린다
3. 평가 기준을 만든다
4. Domain에 맞게 Fine-tuning 한다

• Domain에 맞게 Fine-tuning 되었는지 어떻게 알까?
• 도메인 용어에 대한 뉴런 활성도를 확인하면 될까?

시몬스 부사장 김성준

Impression (메세지 전달) → Perception (느낌 전달)

06:56; 모두가 기억하는 그 광고 비하인드 스토리

어떤 컨텐츠를 만들지 생각하기보단 플랫폼 특성을 우선적으로 이해

• 그 당시 TV 광고는 메세지를 일방적으로 전달하고자 함
• 너무나 많은 정보가 들어오면 채널을 돌리게 됨
• 원하는 느낌만 전달 할 수 있도록 하자

시류(트렌드?)를 읽는 힘

16:07; 디자인 트렌드 대신 시류 파악하기

사회 현상에 대해 왜를 끊임 없이 탐구

기사를 많이 읽음

• 왜 이런 키워드가 많이 보일까
• 왜 이런 기사가 많이 보일까

핫한 동네에 가서 사람들을 관찰함

• 줄 서있는 사람들의 표정과 옷 입고 있는 것
• 어떤 사람들이 저기 진입하는지
• 뭘 들고 나오는지
• 에어팟을 꼽는지
• 왜 선이 있는 이어폰이 다시 등장한건지

30% 70% 브랜딩 전략

18:37; 요즘에 브랜딩은 정의당할 수 있어야 한다

• 브랜딩은 커뮤니케이션 전략이기 때문에 우기면 안된다
• 방향성을 위해 큰 그림 정도(30%)만 그려주고
• 나머지 70%는 소비자들 혹은 불특정 다수와 피드백을 주고 받으면서 전략 수정

팀 운영에도 사용하고 계신 전략

• 방향성을 위해 큰 그림 정도(30%)인 하지 말아야 될 것, 무조건 해야 될 것을 알려주고
• 나머지 70%는 구성원이 해오는대로 피드백 주고 받으면서 전략 수정

구성원의 창의성을 높힐 수 있는 전략

• Must TODO list (or Not TODO list): 진짜 (안)해야되는 부분, 나머지는 자유롭게 해도 됨
• 꼭 돈 받고 팔아야돼 = 공짜로 나눠주면 내가 선택한 관계가 아니기에 기억 못함
• 꼭 싼 값에 팔아야돼 = 거의 공짜 느낌으로, 하지만 구매 선택은 소비자가
• 꼭 시몬스 옛날 로고 또는 150이라는 글자는 넣어야돼 = 150 주년도 알리고, 시몬스도 알려야되니까
• 꼭 외관에 농구대 하나만 달자 = 사진 찍혀서 돌아다닐텐데 누가 봐도 하드웨어 스토어인지 알정도로 시그니처한 디자인 요소를 넣자 + 농구대=힙합

스페이스플래닝 대표 정우석

19:12; 저도 이제 처음에 사업 시작할 때 '나는 모텔을 혁신해야 된다'라는 생각이 항상 있었거든요? '혁신이 그럼 뭘까?' 이런 걸 생각을 해본 적이 있어요. 그 혁신에 대한 정의를 저는 '피터 드러커'한테서 찾았어요

혁신을 쪼개면 뭐가 되냐면 폐기하는 것과 그 폐기한 것으로 남은 유효 리소스를 내가 시장의 트렌드를 반영해서 내 비지니스에 유리하게 적용할 수 있는 것에 투자하는 것. 그 두 개로 나뉘어요. 이제는 더 이상 하지 않아도 될 것들.

근데 모텔은 그게 너무 많아요. 안좋은 서비스, 불필요한 일회용품, 화려했던 치장으로 되어있는 목공사 이런 것들이 다 폐기할 거예요. 그래서 모든 카테고리별로 폐기할 것들을 정리하니까 이게 한 가득이에요. 근데 얘네만 폐기해도 예산이 엄청 아껴질 수가 있는거예요.

제가 사업을 시작할 때는 그때 당시 코로나가 발발했던 시기예요. 그러다 보니까 무슨 특징이 있었냐면 이 산업에는, 전체 이제 공간 산업에는 PC방, 노래방, 게임방 이런 것들이 전부 다 집합금지 제한이 걸려요. 그래서 컨텐츠는 너무 좋은데 그걸 대관을 못해주는 상황이 된거예요. 근데 PC방 프랜차이즈 엄청 많잖아요. 노래방 프랜차이즈 엄청 많잖아요. 그 만큼 그 컨텐츠는 검증이 된 거거든요.  그럼 그 컨텐츠를 지금 집합금지 제한에 제한이 없는 모텔에다가 결합시키면 되겠다. 그게 저는 혁신이라고 봤어요. 그렇게 이제 컨텐츠 호텔이 나오게 된 거예요.

그 필요 없는거를 옛날에는 왜 했을까요?

그게 이제 불안함에서 오는거예요. 어디다가 우선순위를 해야 할지 모르겠고, 남들보다는 돋보여야 되고, 그리고 가장 큰 이유 중에 하나가 예전에는 이런 온라인으로 숙소를 예약하는 건 아니었잖아요. 외장을 보고 이 호텔의 시설을 감안하는 시절이 있긴 했죠. 그 때는 외장이 화려하면 저긴 내부도 좋겠지. 근데 지금은 의사결정 구조가 완전히 바뀌었어요.

36:25; 그래서 기획이 중요하다고 생각해요 저는. '공간을 어떻게 인테리어한다'가 중요한 게 아니고, 우리가 왜 이 공간을 만들고 어떻게 만들 것인가 그거를 먼저 저희가 정하고 모든 그림을 그리는 것을 시작해야 돼서 단순히 멋진 걸 만든다라기보다 이것들에 대한 기능을 좀 정의해 보고 어떻게 할 건지 그걸 먼저 정하는 게 중요합니다.

혁신 = 리소스 효율화 + 트랜드 반영

트랜드 반영 = 트랜드 분석 + 기획

기획 = 왜 + 어떻게

현상과 문제

• 모델에서 생성한 데이터로 학습된 모델에서 생성한 데이터로 다시 학습한 모델을 만들 경우
• 출현 확률이 낮은 데이터는 학습을 계속 할수록 점점 사라지게 된다
• 언어 모델에 위 과정을 적용하면 올바른 순서의 문장을 생성할 확률이 낮아진다

해결 방안

• 학습 데이터의 분포를 사전에 확인해서 관리 할 수 있으면 좋겠다
• 합성 데이터를 제작할 때 하나의 LLM을 통해 만들기 보다는 여러 LLM에서 나온 결과들을 종합하는 형태가 위 현상을 방지할 수 있겠다

기타 생각

• 사람은 멀티모달에서 얻어진 데이터가 다양한 형태로 변환되어 저장된다
• 이미지를 보고 텍스트를 기억에 저장하거나, 텍스트를 보고 이미지를 그려서 저장한다
• 생활 속에서 감각 기관을 통해 끊임없이 들어오는 정보는 학습 데이터로 치환할 경우 그 용량이 어마어마하다
• 그래서 뇌는 모두 저장하기 보다 선별해서 저장하는 기능이 특화되어 있는 듯하다

• 애플은 Adapter를 어떻게 구성하고 배치한걸까?
• iOS 개발이 하고 싶어진다 (애플 생태계에 생산자로 들어가고 싶어진다)

경험 공유

• 2024.06.08; maven 파인튜닝 강연자가 작성자로 있는 “1년 동안 LLM 구축하며 배운 내용” 경험 공유 글

Applied LLMs - What We’ve Learned From A Year of Building with LLMs

A practical guide to building successful LLM products, covering the tactical, operational, and strategic.

Applied LLMsEugene Yan

(번역)

1년 동안 LLM과 함께 구축하며 배운 점 | GeekNews

대규모 언어 모델(LLM)을 사용한 개발이 흥미로운 시기임지난 1년 동안 LLM이 실제 애플리케이션에 ”충분히 좋은” 수준이 되었으며, 매년 더 좋아지고 저렴해지고 있음소셜 미디어의 데모와 함께, 2025년까지 AI에 약 2000억 달러가 투자될 것으로 추정됨업체들의 API로 인해 LLM이 더 접근하기 쉬워져, ML 엔지니어와 과학자뿐만 아니라 모두가 제품

GeekNewsxguru

• 2024.06.04; 당근의 LLM 기능 개발 경험 공유 영상

• 2024.05.28; 엘박스의 LLM 서비스 개발기

LLM 기반 Application, LBox AI 개발기

빠르게 발전하고 있는 LLM 기반으로 Application 을 만들었던 경험을 공유해 보고자 합니다. 새로운 기술이 나오면 늘 그렇듯, 다양한 시행착오를 거치게 됩니다. 이 글에서도 정답이 아닌, 여러 가지 고민들에 대한 시행착오를 공유하고자…

LBOX TeamDongjun Lee

• 2024.07.01; RAG의 성능과 효율성을 동시에 잡을 전략

Searching for Best Practices in Retrieval-Augmented Generation

Retrieval-augmented generation (RAG) techniques have proven to be effective in integrating up-to-date information, mitigating hallucinations, and enhancing response quality, particularly in specialized domains. While many RAG approaches have been proposed to enhance large language models through que…

arXiv.orgXiaohua Wang

• 2024.07.10; Notion AI, Evaluation of LLM Application

• 24.07.24; Liner 지난 1년 LLM 어플리케이션 개발 회고

• 2024.08.18; Project Pluto, AI 어플리케이션을 개발하는 스타트업의 생각 (f. 스타트업에게 Moat이란?)

• 2024.08.25; Project Pluto, RAG에서 R의 정확성이 매우 중요, 그 다음은 검색된 정보를 어떤 순서로 엮을건지가 중요

Hyun Hong on LinkedIn: 기관에게 묻고, 기관에게 답하다 --- It's not all about RAG

𝟭. 써치에 있어서 𝗥𝗔𝗚가 무슨 𝘀𝗶𝗹𝘃𝗲𝗿 𝗯𝘂𝗹𝗹𝗲𝘁인 마냥 표현되는데 그렇지 않다. '그냥 래그로 갖다붙여서 하는거 정도는 우리도 할 수 있어요'라고 말하는 기업 내 테크 담당자들에게는 이렇게 설명하는 편이다. 𝗥𝗔𝗚는 정보의…

LinkedInHyun Hong

• 2024.08.08; 잡플래닛, LLM Agent 구축기

Tell-i : LLM Agent 서비스 구축기 (1) - 잡플래닛 테크블로그

LLM AI Agent 도입에 필요한 기술을 소개합니다.(MSA, RAG, Embedding) | Data&AI, Engineering

잡플래닛 테크블로그김건호

• 2024.11.02; Naver, 경량화 레시피

NAVER D2

• 2024.11.04; Liner, AI 검색엔진 구축기

• 2025.02.27; 크라드우웍스, 유안타증권 AI Agent 제작기

유안타증권 AI Agent 프로젝트: 실전 LLM 서비스 개발(고생)기

안녕하세요. 크라우드웍스 서비스개발실 실장 김동국입니다. 이번 포스팅에서는 LLM 기반 Agent를 프로덕션 환경에 구축하면서 겪은 실제 사례와 기술적 도전 과제들을 공유하고자 합니다.

크라우드웍스 Tech Blogcrowdworks

해석

• 2024.04.11; Transformer 해석

🧠 ChatGPT의 답변 조종을 위한 Superposition Hypothesis

10억명의 사용자를 가진 ChatGPT의 답변을 조종할 수 있다면 어떨까요? 가령 대화에 은근슬쩍 광고를 끼워 넣는다거나, 선거에 영향을 줄 수도 있겠죠. 이렇게 AI에 대한 인간의 개입 능력이 생긴다면, 이는 분명 엄청난 권력입니다.

MediumAlan Jo

• 2024.06.30; In-context learning이 동작하는 이유

트랜스포머 리버스 엔지니어링으로 In-context Learning 이해하기

지난 4월 글에서 예상한 것처럼 Anthropic과 OpenAI 각각 두 달이 지나지 않아 대표 플래그십 모델의 뉴런 분석을 진행했습니다.

MediumAlan Jo

• 2024.07.22; chain of thought가 잘 동작하는 이유 (Beyond Memorization: The Challenge of Random Memory Access in Language Models, ACL 2024)

• 2024.08.07; LLM (혹은 AI)은 귀납적 task에 대해 탁월하다, 연역적 task에 대해서는 도움이 필요하다

• 2024.08.08; Transformer Explainer: Interactive Learning of Text-Generative Models (https://arxiv.org/abs/2408.04619)

Transformer Explainer: LLM Transformer Model Visually Explained

An interactive visualization tool showing you how transformer models work in large language models (LLM) like GPT.

TRANSFORMER EXPLAINER

• 2024.09.02; LLM은 텍스트 압축, 복원 역할을 한다

• 2024.08.07; LLM은 추론 능력이 아닌 패턴 매칭 능력이 좋아진 것, Apple

GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models

Recent advancements in Large Language Models (LLMs) have sparked interest in their formal reasoning capabilities, particularly in mathematics. The GSM8K benchmark is widely used to assess the mathematical reasoning of models on grade-school-level questions. While the performance of LLMs on GSM8K has…

arXiv.orgIman Mirzadeh

• 2024.06.22; 프롬프팅 최적화에는 예제 사용이 최고, NeurIPS 2024, Google

Teach Better or Show Smarter? On Instructions and Exemplars in Automatic Prompt Optimization

Large language models have demonstrated remarkable capabilities, but their performance is heavily reliant on effective prompt engineering. Automatic prompt optimization (APO) methods are designed to automate this and can be broadly categorized into those targeting instructions (instruction optimizat…

arXiv.orgXingchen Wan

일반 채팅 인터페이스로 LLM을 활용하는 사람 입장에서 보자면, 프롬프트 자체를 튜닝하려는 노력을 기울이기 전에, 적절한 예시를 제시하는 노력을 우선적으로 하고, 그 다음에 프롬프트까지 바꿔가면서 최적화하는 것이 가장 좋은 결과를 가져올 수 있다는 이야기입니다.

• 2024.11.15; formatted prompting이 성능 향상에 유의미하다, NAACL 2025

Does Prompt Formatting Have Any Impact on LLM Performance?

In the realm of Large Language Models (LLMs), prompt optimization is crucial for model performance. Although previous research has explored aspects like rephrasing prompt contexts, using various prompting techniques (like in-context learning and chain-of-thought), and ordering few-shot examples, our…

arXiv.orgJia He

서베이 논문

• 2024.06.17; 프롬프팅 서베이 논문, 4796개의 논문 목록 중 1595개의 논문으로 정리한 내용

The Prompt Report: A Systematic Survey of Prompting Techniques

Generative Artificial Intelligence (GenAI) systems are being increasingly deployed across all parts of industry and research settings. Developers and end users interact with these systems through the use of prompting or prompt engineering. While prompting is a widespread and highly researched concep…

arXiv.orgSander Schulhoff

• 2024.04.28; AI Assistants의 윤리 및 사회적 위험

The Ethics of Advanced AI Assistants

This paper focuses on the opportunities and the ethical and societal risks posed by advanced AI assistants. We define advanced AI assistants as artificial agents with natural language interfaces, whose function is to plan and execute sequences of actions on behalf of a user, across one or more domai…

arXiv.orgIason Gabriel

• 2024.11.23; LLM as a judge

A Survey on LLM-as-a-Judge

Accurate and consistent evaluation is crucial for decision-making across numerous fields, yet it remains a challenging task due to inherent subjectivity, variability, and scale. Large Language Models (LLMs) have achieved remarkable success across diverse domains, leading to the emergence of “LLM-as-…

arXiv.orgJiawei Gu

RAG

• 2024.03.12; RAG, GraphRAG 장점과 한계 분석 정리

From RAG to GraphRAG , What is the GraphRAG and why i use it? - graphwoody

graphwoody정이태

엔지니어링

• 2024.07.15; DeepSeek LLM 분석

DeepSeek LLM

세미나 발제를 위한 자료로 작성했지만 공개할만한 가치가 있을 것 같아 공유합니다.

arXiv DailyKim Seonghyeon

• 현재 LLM의 발전 수준을 객관적이고 냉정하게 분석한 글
• 한 발짝 물러서서 관찰자 시점으로 상황을 정리한 글
• 보이는 것만 보고, 보고싶은 것만 보게 되는 상태에 대한 경각심을 주는 글

LangChain의 인터페이스 이해

한글

03. LangChain Expression Language(LCEL)

.custom { background-color: #008d8d; color: white; padding: 0.25em 0.5…

위키독스

원문

Conceptual guide | 🦜️🔗 LangChain

This section contains introductions to key parts of LangChain.

🦜️🔗 LangChain

Advantages of LCEL | 🦜️🔗 LangChain

We recommend reading the LCEL Get started section first.

🦜️🔗 LangChain