주민건

• 애플은 Adapter를 어떻게 구성하고 배치한걸까?
• iOS 개발이 하고 싶어진다 (애플 생태계에 생산자로 들어가고 싶어진다)

경험 공유

• 2024.06.08; maven 파인튜닝 강연자가 작성자로 있는 “1년 동안 LLM 구축하며 배운 내용” 경험 공유 글

Applied LLMs - What We’ve Learned From A Year of Building with LLMs

A practical guide to building successful LLM products, covering the tactical, operational, and strategic.

Applied LLMsEugene Yan

(번역)

1년 동안 LLM과 함께 구축하며 배운 점 | GeekNews

대규모 언어 모델(LLM)을 사용한 개발이 흥미로운 시기임지난 1년 동안 LLM이 실제 애플리케이션에 ”충분히 좋은” 수준이 되었으며, 매년 더 좋아지고 저렴해지고 있음소셜 미디어의 데모와 함께, 2025년까지 AI에 약 2000억 달러가 투자될 것으로 추정됨업체들의 API로 인해 LLM이 더 접근하기 쉬워져, ML 엔지니어와 과학자뿐만 아니라 모두가 제품

GeekNewsxguru

• 2024.06.04; 당근의 LLM 기능 개발 경험 공유 영상

• 2024.05.28; 엘박스의 LLM 서비스 개발기

LLM 기반 Application, LBox AI 개발기

빠르게 발전하고 있는 LLM 기반으로 Application 을 만들었던 경험을 공유해 보고자 합니다. 새로운 기술이 나오면 늘 그렇듯, 다양한 시행착오를 거치게 됩니다. 이 글에서도 정답이 아닌, 여러 가지 고민들에 대한 시행착오를 공유하고자…

LBOX TeamDongjun Lee

• 2024.07.01; RAG의 성능과 효율성을 동시에 잡을 전략

Searching for Best Practices in Retrieval-Augmented Generation

Retrieval-augmented generation (RAG) techniques have proven to be effective in integrating up-to-date information, mitigating hallucinations, and enhancing response quality, particularly in specialized domains. While many RAG approaches have been proposed to enhance large language models through que…

arXiv.orgXiaohua Wang

• 2024.07.10; Notion AI, Evaluation of LLM Application

• 24.07.24; Liner 지난 1년 LLM 어플리케이션 개발 회고

• 2024.08.18; Project Pluto, AI 어플리케이션을 개발하는 스타트업의 생각 (f. 스타트업에게 Moat이란?)

• 2024.08.25; Project Pluto, RAG에서 R의 정확성이 매우 중요, 그 다음은 검색된 정보를 어떤 순서로 엮을건지가 중요

Hyun Hong on LinkedIn: 기관에게 묻고, 기관에게 답하다 --- It's not all about RAG

𝟭. 써치에 있어서 𝗥𝗔𝗚가 무슨 𝘀𝗶𝗹𝘃𝗲𝗿 𝗯𝘂𝗹𝗹𝗲𝘁인 마냥 표현되는데 그렇지 않다. '그냥 래그로 갖다붙여서 하는거 정도는 우리도 할 수 있어요'라고 말하는 기업 내 테크 담당자들에게는 이렇게 설명하는 편이다. 𝗥𝗔𝗚는 정보의…

LinkedInHyun Hong

• 2024.08.08; 잡플래닛, LLM Agent 구축기

Tell-i : LLM Agent 서비스 구축기 (1) - 잡플래닛 테크블로그

LLM AI Agent 도입에 필요한 기술을 소개합니다.(MSA, RAG, Embedding) | Data&AI, Engineering

잡플래닛 테크블로그김건호

• 2024.11.02; Naver, 경량화 레시피

NAVER D2

• 2024.11.04; Liner, AI 검색엔진 구축기

• 2025.02.27; 크라드우웍스, 유안타증권 AI Agent 제작기

유안타증권 AI Agent 프로젝트: 실전 LLM 서비스 개발(고생)기

안녕하세요. 크라우드웍스 서비스개발실 실장 김동국입니다. 이번 포스팅에서는 LLM 기반 Agent를 프로덕션 환경에 구축하면서 겪은 실제 사례와 기술적 도전 과제들을 공유하고자 합니다.

크라우드웍스 Tech Blogcrowdworks

• 2025.08.05; 콴다, AI Agent 제작기

새로운 콴다 Agent는 어떻게 만들어졌을까?

콴다는 왜 달라졌을까? Backend 팀의 Agent 설계 이야기

Team QANDADave Kwon

해석

• 2024.04.11; Transformer 해석

🧠 ChatGPT의 답변 조종을 위한 Superposition Hypothesis

10억명의 사용자를 가진 ChatGPT의 답변을 조종할 수 있다면 어떨까요? 가령 대화에 은근슬쩍 광고를 끼워 넣는다거나, 선거에 영향을 줄 수도 있겠죠. 이렇게 AI에 대한 인간의 개입 능력이 생긴다면, 이는 분명 엄청난 권력입니다.

MediumAlan Jo

• 2024.06.30; In-context learning이 동작하는 이유

트랜스포머 리버스 엔지니어링으로 In-context Learning 이해하기

지난 4월 글에서 예상한 것처럼 Anthropic과 OpenAI 각각 두 달이 지나지 않아 대표 플래그십 모델의 뉴런 분석을 진행했습니다.

MediumAlan Jo

• 2024.07.22; chain of thought가 잘 동작하는 이유 (Beyond Memorization: The Challenge of Random Memory Access in Language Models, ACL 2024)

• 2024.08.07; LLM (혹은 AI)은 귀납적 task에 대해 탁월하다, 연역적 task에 대해서는 도움이 필요하다

• 2024.08.08; Transformer Explainer: Interactive Learning of Text-Generative Models (https://arxiv.org/abs/2408.04619)

Transformer Explainer: LLM Transformer Model Visually Explained

An interactive visualization tool showing you how transformer models work in large language models (LLM) like GPT.

TRANSFORMER EXPLAINER

• 2024.09.02; LLM은 텍스트 압축, 복원 역할을 한다

• 2024.08.07; LLM은 추론 능력이 아닌 패턴 매칭 능력이 좋아진 것, Apple

GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models

Recent advancements in Large Language Models (LLMs) have sparked interest in their formal reasoning capabilities, particularly in mathematics. The GSM8K benchmark is widely used to assess the mathematical reasoning of models on grade-school-level questions. While the performance of LLMs on GSM8K has…

arXiv.orgIman Mirzadeh

• 2024.06.22; 프롬프팅 최적화에는 예제 사용이 최고, NeurIPS 2024, Google

Teach Better or Show Smarter? On Instructions and Exemplars in Automatic Prompt Optimization

Large language models have demonstrated remarkable capabilities, but their performance is heavily reliant on effective prompt engineering. Automatic prompt optimization (APO) methods are designed to automate this and can be broadly categorized into those targeting instructions (instruction optimizat…

arXiv.orgXingchen Wan

일반 채팅 인터페이스로 LLM을 활용하는 사람 입장에서 보자면, 프롬프트 자체를 튜닝하려는 노력을 기울이기 전에, 적절한 예시를 제시하는 노력을 우선적으로 하고, 그 다음에 프롬프트까지 바꿔가면서 최적화하는 것이 가장 좋은 결과를 가져올 수 있다는 이야기입니다.

• 2024.11.15; formatted prompting이 성능 향상에 유의미하다, NAACL 2025

Does Prompt Formatting Have Any Impact on LLM Performance?

In the realm of Large Language Models (LLMs), prompt optimization is crucial for model performance. Although previous research has explored aspects like rephrasing prompt contexts, using various prompting techniques (like in-context learning and chain-of-thought), and ordering few-shot examples, our…

arXiv.orgJia He

서베이 논문

• 2024.06.17; 프롬프팅 서베이 논문, 4796개의 논문 목록 중 1595개의 논문으로 정리한 내용

The Prompt Report: A Systematic Survey of Prompting Techniques

Generative Artificial Intelligence (GenAI) systems are being increasingly deployed across all parts of industry and research settings. Developers and end users interact with these systems through the use of prompting or prompt engineering. While prompting is a widespread and highly researched concep…

arXiv.orgSander Schulhoff

• 2024.04.28; AI Assistants의 윤리 및 사회적 위험

The Ethics of Advanced AI Assistants

This paper focuses on the opportunities and the ethical and societal risks posed by advanced AI assistants. We define advanced AI assistants as artificial agents with natural language interfaces, whose function is to plan and execute sequences of actions on behalf of a user, across one or more domai…

arXiv.orgIason Gabriel

• 2024.11.23; LLM as a judge

A Survey on LLM-as-a-Judge

Accurate and consistent evaluation is crucial for decision-making across numerous fields, yet it remains a challenging task due to inherent subjectivity, variability, and scale. Large Language Models (LLMs) have achieved remarkable success across diverse domains, leading to the emergence of “LLM-as-…

arXiv.orgJiawei Gu

RAG

• 2024.03.12; RAG, GraphRAG 장점과 한계 분석 정리

From RAG to GraphRAG , What is the GraphRAG and why i use it? - graphwoody

graphwoody정이태

엔지니어링

• 2024.07.15; DeepSeek LLM 분석

DeepSeek LLM

세미나 발제를 위한 자료로 작성했지만 공개할만한 가치가 있을 것 같아 공유합니다.

arXiv DailyKim Seonghyeon

• 현재 LLM의 발전 수준을 객관적이고 냉정하게 분석한 글
• 한 발짝 물러서서 관찰자 시점으로 상황을 정리한 글
• 보이는 것만 보고, 보고싶은 것만 보게 되는 상태에 대한 경각심을 주는 글

LangChain의 인터페이스 이해

한글

03. LangChain Expression Language(LCEL)

.custom { background-color: #008d8d; color: white; padding: 0.25em 0.5…

위키독스

원문

Conceptual guide | 🦜️🔗 LangChain

This section contains introductions to key parts of LangChain.

🦜️🔗 LangChain

Advantages of LCEL | 🦜️🔗 LangChain

We recommend reading the LCEL Get started section first.

🦜️🔗 LangChain

이전 직장인 알고리즘랩스에서 알고리즘 문제해결능력 코치에 집중할 때 작성했던 자료다. 코치와 수강생을 위한 LMS는 어떻게 제작되면 좋을지에 대한 고민을 정리했었다. 교육학에 대한 배경이 없어서 어떻게 보면 당연한 말을 써놓은 걸 수도 있지만, 머릿속에서 암묵적으로 동작하는 절차를 눈에 보이게 만드니 그간의 코칭 스킬이 정립되는 느낌이라 좋았다.

자료를 완성한 당시에는 주변에 가까운 사람들에게만 공유 했었다. 딱히 도움 된다는 반응이 생각만큼 오지 않아서 컴퓨터에만 여태 남겨뒀었다. 얼마전 모두연 SpiritusLAB에서 해당 자료로 발표할 기회가 있었다. 랩원분들이 흥미롭게 들어주셔서 자료를 공유하면 누군가에게는 도움이 될수도 있겠다고 생각했다.

자료 내용은 출처가 모두 내 경험과 머릿속에 일어난 일이기때문에 객관적, 과학적 근거자료가 없다. 따라서 경험담 정도로만 생각하고 자료를 읽어주셨으면 하는 바람이 있다.

1.

팀 리더는 리더의 리더(대표이사)를 닮게 된다                                                                    

회사 리더가 남탓을 하고 구성원을 탓한다면

팀 리더는 팀원을 책임지지 않는 구조가 된다

2.

회사도 작은 생태계라

회사가 가지고 있는 환경 설정에 의해

사람들의 행동이 결정되고

환경에 의해 선택받은 사람들만 남게 된다

이때 생태계의 환경 조건은

회사에서 조직 문화로 볼 수 있다

3.

조직 문화가 암묵적으로 있는 조직은 대개

조직에서 가장 영향력이 있는 사람의 성격을

닮아가는 듯하다

그 사람의 긍정적인 요소든 부정적인 요소든

뭐든 다 닮아가는 듯하다

10km 마라톤 관련

• 초반 페이스를 너무 느리게 잡았다 (3km, 7분대)
• 생각보다 5분 30초 페이스를 오래 유지할 수 있었다 (5km)
• 페이스 메이커 없는 줄 알았는데 있었다,,
• 1시간 안으로 들어올 수 있었는데 아쉽다 (01:01:29 완주)

행사 일정 관련

• 짐 보관 안할거면 그렇게 일찍 출발 안해도 된다
• 다만 늦게가면 현장 화장실을 이용하기 힘들어진다

뛸 때

• 러닝크루들 응원해주는 모습이 보기 좋다

마라톤 매달을 따는게 약간 버킷리스트 같은거였는데                                                       10km를 몇 번 뛰어봐서 그런지 메달 받아도 감흥이 별로 없다ㅋㅋㅋ..

이전 글

OpenAI Fine-tuning 사용해보기

목적모델이 멀쩡할 때 데이터셋 퀄리티 확인 위해데이터셋 가공 방향 확인 위해사용 데이터셋학습데이터: 141. 한국어 멀티세션 대화 데이터 > TL_session2 (35,962개)검증데이터: 141. 한국어 멀티세션 대화 데이터 > VL_session2 (3,997개)speaker가 두 명인데 한 명으로 잘못 라벨링되어있는 데이터 제외실행 순서원본 데이터를 OpenAI fune-tuning에서 쓸 수 있도록 변환변환한

zoomgzoomg

문제

: GPT-3.5를 fine-tuning한 모델과 대화를 나눌 때 생성된 문장이 요상하게 느껴진다

가설

: 한국어 임베딩이 GPT-3.5에 비해 잘 되어있다면 한국어 문장이 어색하게 생성되지않는다

사용 데이터셋

• 141. 한국어 멀티세션 대화 데이터 > TL_session2
• speaker가 두 명인데 한 명으로 잘못 라벨링되어있는 데이터 제외
• 페르소나가 speaker 1, 2가 동일한 경우 제외
• 데이터 중 "나는 20대 남성이다"와 같이 페르소나의 첫 문장이 간단할 경우 선택하지 않음
• "나는 산딸기를 좋아하는 20대 남성이다"와 같이 시작할 경우 선택
• 사용한 대화 데이터 수: 1695개

사용한 코드

• LoRA 사용해서 fine-tuning 진행

https://colab.research.google.com/drive/1nlpWbf50Z80WKn_ECc7xBBqaRtydxCL3?usp=sharing

결과

• 예상 했던대로 임베딩이 한국어에 최적화 되어있다면 생성된 문장이 GPT-3.5에 비해 어색해보이지 않았음

한계

• 파인튜닝을 multi-hop으로 해서 그런지 사용자 입력에 대한 응답으로 한 문장만 생성하지 않고, user input - assistant input - ... 연달아서 생성하는 경우 존재
• 대화 주고 받은게 4~5번 넘어가면 문맥 논리에 안맞는 문장을 생성하는 느낌

대화 예시

Option
Temperature: 0.8, TopP: 1,
Model: beomi_llama-2-ko-7b_3_epochs,
Tokenizer: beomi/llama-2-ko-7b

Conversation
: 모델의 출력을 assistant 답변 기준으로 한 문장씩 잘라서 이전 프롬프트에 붙인 후 user 응답을 써서 다시 입력으로 주는 방식으로 대화

————————————————————————————————
system
당신은 사용자와 간단한 의사소통을 할 수 있는 사람이다. 당신과 사용자는 다음과 같은 페르소나를 가지고 있다.

당신의 페르소나
- 나는 20대 여성이다.

사용자의 페르소나
- 나는 20대 남자이다.

아래의 대화가 주어졌을 때, 마지막 사용자의 말에 대한 응답을 적는다.

user: 안녕하세요 아주머니.
assistant: 4번째 대화네요. 반가워요.
user: 아~ 그렇게 됐나요. 반갑습니다.
assistant: ᄒᄒ. 저도 반가워요.
user: 오늘 날씨 되게 덥네요.
assistant: ᄒᄒ 맞아요. 엄청 덥죠. 더위 조심하세요.
user: 이번 여름에 휴가 계획 있으신가요?
assistant: ᄒᄒ 아직요. 지금은 휴가 안 가고 싶어요. 휴가를 갈 때면 항상 휴가 후유증 때문에 너무 힘들더라고요. (?이상함)

• 모델: 42dot_LLM-SFT-1.3B (epoch 2.36)
• 토크나이저: 42dot_LLM-SFT-1.3B

Option
Temperature: 0.8, TopP: 1,
Model: 42dot_LLM-SFT-1.3B (epoch 2.36)
Tokenizer: 42dot_LLM-SFT-1.3B

Conversation
: 모델의 출력을 assistant 답변 기준으로 한 문장씩 잘라서 이전 프롬프트에 붙인 후 user 응답을 써서 다시 입력으로 주는 방식으로 대화

————————————————————————————————

system
당신은 사용자와 간단한 의사소통을 할 수 있는 사람이다. 당신과 사용자는 다음과 같은 페르소나를 가지고 있다.

당신의 페르소나

• 나는 20대 여성이다.

사용자의 페르소나

• 나는 20대 남자이다.

아래의 대화가 주어졌을 때, 마지막 사용자의 말에 대한 응답을 적는다.

user: 안녕하세요 아주머니.
assistant: 앗.. 아주머니라니요. ᅲᅲ 저는 아직 20대입니다!
user: 아 그러시군요~ 아주머니~
assistant: 앗 그러면 아가씨로 변경할게요~ ᄏᄏᄏᄏ 아가씨~
user: ㅋㅋㅋㅋ아가씨라는 말 오랜만에 듣네요

1. 이후 기존 문장
assistant: ᄏᄏᄏᄏᄏᄏᄏ 저도 아가씨로 들으셔야 더 예쁘실텐데
user: 무슨 말인지 이해 못했어요
assistant: ᄏᄏᄏᄏᄏᄏ 제가 아가씨인데 그 아가씨에 아가씨를 붙이면 저보고 더 아가씨라구요ᄏᄏᄏᄏᄏᄏ
user: 아~ 네 아가씨~
assistant: 앗~ 아가씨~ 아가씨~.

2.Temperature를 0.7로 조정한 경우
assistant: 앗 그러시군요~ 저는 아가씨 좋아해요~
user: 특별한 이유가 혹시 있나요?
assistant: 앗 이유는 없어요! 그냥 아가씨가 좋아요!!