LLM 개발 관련 자료 아카이빙

경험 공유

• 2024.06.08; maven 파인튜닝 강연자가 작성자로 있는 “1년 동안 LLM 구축하며 배운 내용” 경험 공유 글

Applied LLMs - What We’ve Learned From A Year of Building with LLMs

A practical guide to building successful LLM products, covering the tactical, operational, and strategic.

Applied LLMsEugene Yan

(번역)

1년 동안 LLM과 함께 구축하며 배운 점 | GeekNews

대규모 언어 모델(LLM)을 사용한 개발이 흥미로운 시기임지난 1년 동안 LLM이 실제 애플리케이션에 ”충분히 좋은” 수준이 되었으며, 매년 더 좋아지고 저렴해지고 있음소셜 미디어의 데모와 함께, 2025년까지 AI에 약 2000억 달러가 투자될 것으로 추정됨업체들의 API로 인해 LLM이 더 접근하기 쉬워져, ML 엔지니어와 과학자뿐만 아니라 모두가 제품

GeekNewsxguru

• 2024.06.04; 당근의 LLM 기능 개발 경험 공유 영상

• 2024.05.28; 엘박스의 LLM 서비스 개발기

LLM 기반 Application, LBox AI 개발기

빠르게 발전하고 있는 LLM 기반으로 Application 을 만들었던 경험을 공유해 보고자 합니다. 새로운 기술이 나오면 늘 그렇듯, 다양한 시행착오를 거치게 됩니다. 이 글에서도 정답이 아닌, 여러 가지 고민들에 대한 시행착오를 공유하고자…

LBOX TeamDongjun Lee

• 2024.07.01; RAG의 성능과 효율성을 동시에 잡을 전략

Searching for Best Practices in Retrieval-Augmented Generation

Retrieval-augmented generation (RAG) techniques have proven to be effective in integrating up-to-date information, mitigating hallucinations, and enhancing response quality, particularly in specialized domains. While many RAG approaches have been proposed to enhance large language models through que…

arXiv.orgXiaohua Wang

• 2024.07.10; Notion AI, Evaluation of LLM Application

• 24.07.24; Liner 지난 1년 LLM 어플리케이션 개발 회고

• 2024.08.18; Project Pluto, AI 어플리케이션을 개발하는 스타트업의 생각 (f. 스타트업에게 Moat이란?)

• 2024.08.25; Project Pluto, RAG에서 R의 정확성이 매우 중요, 그 다음은 검색된 정보를 어떤 순서로 엮을건지가 중요

Hyun Hong on LinkedIn: 기관에게 묻고, 기관에게 답하다 --- It's not all about RAG

𝟭. 써치에 있어서 𝗥𝗔𝗚가 무슨 𝘀𝗶𝗹𝘃𝗲𝗿 𝗯𝘂𝗹𝗹𝗲𝘁인 마냥 표현되는데 그렇지 않다. '그냥 래그로 갖다붙여서 하는거 정도는 우리도 할 수 있어요'라고 말하는 기업 내 테크 담당자들에게는 이렇게 설명하는 편이다. 𝗥𝗔𝗚는 정보의…

LinkedInHyun Hong

• 2024.08.08; 잡플래닛, LLM Agent 구축기

Tell-i : LLM Agent 서비스 구축기 (1) - 잡플래닛 테크블로그

LLM AI Agent 도입에 필요한 기술을 소개합니다.(MSA, RAG, Embedding) | Data&AI, Engineering

잡플래닛 테크블로그김건호

• 2024.11.02; Naver, 경량화 레시피

NAVER D2

• 2024.11.04; Liner, AI 검색엔진 구축기

해석

• 2024.04.11; Transformer 해석

🧠 ChatGPT의 답변 조종을 위한 Superposition Hypothesis

10억명의 사용자를 가진 ChatGPT의 답변을 조종할 수 있다면 어떨까요? 가령 대화에 은근슬쩍 광고를 끼워 넣는다거나, 선거에 영향을 줄 수도 있겠죠. 이렇게 AI에 대한 인간의 개입 능력이 생긴다면, 이는 분명 엄청난 권력입니다.

MediumAlan Jo

• 2024.06.30; In-context learning이 동작하는 이유

트랜스포머 리버스 엔지니어링으로 In-context Learning 이해하기

지난 4월 글에서 예상한 것처럼 Anthropic과 OpenAI 각각 두 달이 지나지 않아 대표 플래그십 모델의 뉴런 분석을 진행했습니다.

MediumAlan Jo

• 2024.07.22; chain of thought가 잘 동작하는 이유 (Beyond Memorization: The Challenge of Random Memory Access in Language Models, ACL 2024)

• 2024.08.07; LLM (혹은 AI)은 귀납적 task에 대해 탁월하다, 연역적 task에 대해서는 도움이 필요하다

• 2024.08.08; Transformer Explainer: Interactive Learning of Text-Generative Models (https://arxiv.org/abs/2408.04619)

Transformer Explainer: LLM Transformer Model Visually Explained

An interactive visualization tool showing you how transformer models work in large language models (LLM) like GPT.

TRANSFORMER EXPLAINER

• 2024.09.02; LLM은 텍스트 압축, 복원 역할을 한다

• 2024.08.07; LLM은 추론 능력이 아닌 패턴 매칭 능력이 좋아진 것, Apple

GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models

Recent advancements in Large Language Models (LLMs) have sparked interest in their formal reasoning capabilities, particularly in mathematics. The GSM8K benchmark is widely used to assess the mathematical reasoning of models on grade-school-level questions. While the performance of LLMs on GSM8K has…

arXiv.orgIman Mirzadeh

• 2024.06.22; 프롬프팅 최적화에는 예제 사용이 최고, NeurIPS 2024, Google

Teach Better or Show Smarter? On Instructions and Exemplars in Automatic Prompt Optimization

Large language models have demonstrated remarkable capabilities, but their performance is heavily reliant on effective prompt engineering. Automatic prompt optimization (APO) methods are designed to automate this and can be broadly categorized into those targeting instructions (instruction optimizat…

arXiv.orgXingchen Wan

일반 채팅 인터페이스로 LLM을 활용하는 사람 입장에서 보자면, 프롬프트 자체를 튜닝하려는 노력을 기울이기 전에, 적절한 예시를 제시하는 노력을 우선적으로 하고, 그 다음에 프롬프트까지 바꿔가면서 최적화하는 것이 가장 좋은 결과를 가져올 수 있다는 이야기입니다.

서베이 논문

• 2024.06.17; 프롬프팅 서베이 논문, 4796개의 논문 목록 중 1595개의 논문으로 정리한 내용

The Prompt Report: A Systematic Survey of Prompting Techniques

Generative Artificial Intelligence (GenAI) systems are being increasingly deployed across all parts of industry and research settings. Developers and end users interact with these systems through the use of prompting or prompt engineering. While prompting is a widespread and highly researched concep…

arXiv.orgSander Schulhoff

• 2024.04.28; AI Assistants의 윤리 및 사회적 위험

The Ethics of Advanced AI Assistants

This paper focuses on the opportunities and the ethical and societal risks posed by advanced AI assistants. We define advanced AI assistants as artificial agents with natural language interfaces, whose function is to plan and execute sequences of actions on behalf of a user, across one or more domai…

arXiv.orgIason Gabriel

RAG

• 2024.03.12; RAG, GraphRAG 장점과 한계 분석 정리

From RAG to GraphRAG , What is the GraphRAG and why i use it? - graphwoody

graphwoody정이태