๐Ÿ“ข ๊ฒ€์ƒ‰ ๊ธฐ๋Šฅ ์ถ”๊ฐ€ ์˜ˆ์ •

์ฃผ๋ฏผ๊ฑด

๊ธฐ๋ก = ์„ฑ์žฅ

zoomg

23.09.24 (Sun)

23.09.19 (Tue)

23.09.16 (Sat)

Facebook์— ๋กœ๊ทธ์ธ | Facebook
Facebook์— ๋กœ๊ทธ์ธํ•˜์„ธ์š”. ์นœ๊ตฌ, ๊ฐ€์กฑ, ์ง€์ธ๋“ค๊ณผ ํ•จ๊ป˜ ํ•˜๋Š” ์ฆ๊ฑฐ์šด Facebook ์ƒํ™œ์ด ์‹œ์ž‘๋ฉ๋‹ˆ๋‹ค.
sLLM์˜ ํ•œ๊ณ„๋Š”?

Park Chansung 9์›” 15์ผ ์˜คํ›„ 11:51

๋”์ด์ƒ LLM์„ ํŒŒ์ธํŠœ๋‹ ํ•˜๋Š”๊ฒŒ ํฌ๊ฒŒ ๋งค๋ ฅ์ ์ด์ง€ ์•Š๊ฑฐ๋‚˜, ์กฐ๊ธˆ์”ฉ ๋ฐฉํ–ฅ์ด ๋ฐ”๋€Œ๋ฉด ์–ด๋–จ๊นŒ ์‹ถ์€ ์ƒ๊ฐ์ด ๋“ญ๋‹ˆ๋‹ค.

์ดˆ๊ธฐ์—๋Š” 7B๋กœ ์‹œ์ž‘ํ–ˆ์œผ๋‚˜, ํฐ ๋ชจ๋ธ์— ์ง‘์ค‘ํ•˜๋Š” ํ˜•๊ตญ์ด ๋˜์–ด์„œ ์ด์ œ๋Š” ๋ชจ๋‘ 33B/70B ์ด์ƒ ๋ชจ๋ธ๋งŒ ๊ฑด๋“œ๋ฆฌ๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ChatGPT/Bard/Claude ์ˆ˜์ค€์˜ ๋ฒ”์šฉ์œผ๋กœ ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•œ ์ฑ„ํŒ…์šฉ LLM์„ ๋งŒ๋“ค๊ณ  ์‹ถ์–ดํ•˜๋Š” ๊ฒƒ ๊ฐ™์€๋ฐ์š”, ๊ทธ๋Ÿฌ๋ฉด์„œ ์†Œ๊ทœ๋ชจ ๋ชจ๋ธ๋กœ๋„ ์ž˜ ๋‚˜๊ฐ€๋Š” ์ƒ์šฉ LLM์„ ๋›ฐ์–ด๋„˜๋Š”๊ฒŒ ๊ฐ€๋Šฅํ•˜๋‹ค๋ฅผ ๋ณด์—ฌ์ฃผ๋ ค๋Š” ๊ฒƒ์ฒ˜๋Ÿผ ๋ณด์ด๋„ค์š”.

์ด๋Ÿฐ ๋…ธ๋ ฅ ์ข‹๊ธฐ๋Š” ํ•ฉ๋‹ˆ๋‹ค๋งŒ, 99%์˜ ๊ฑฐ์˜ ๋ชจ๋‘๊ฐ€ ๋™์ผํ•œ ๋ฐฑ๋ณธ ๋ชจ๋ธ์— ๊ธฐ๋ฐ˜ํ•˜์—ฌ, ์กฐ๊ธˆ์”ฉ ๋‹ค๋ฅธ ๋ฐฉ๋ฒ•์œผ๋กœ ์ƒ์„ฑ๋œ ๋ฐ์ดํ„ฐ์…‹์„ ํ™œ์šฉํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๋˜ํ•œ ์ดˆ๊ธฐ์™€๋Š” ๋‹ฌ๋ฆฌ GPT4 ๋“ฑ์œผ๋กœ ์ƒ์„ฑํ–ˆ์Œ์—๋„ ๋ถˆ๊ตฌํ•˜๊ณ , ์ •ํ™•ํžˆ ์–ด๋–ค ๋ฐ์ดํ„ฐ์…‹์„ ํ™œ์šฉํ–ˆ๋Š”์ง€ ์˜คํ”ˆํ•˜์ง€ ์•Š๋Š” ๊ฒฝ์šฐ๋“ค์ด ์ƒ๊น€์— ๋”ฐ๋ผ Eval Dataset์˜ Leak์ด ์˜์‹ฌ๋˜๋Š” ์ƒํ™ฉ์ด ํŽผ์ณ์ง€๊ณ  ์žˆ๋„ค์š”. ๋˜ํ•œ 99%์˜ ๊ฒฝ์šฐ GPT4๊ฐ€ ์ƒ์„ฑํ•œ ๋ฐ์ดํ„ฐ๋ฅผ ํ™œ์šฉํ•˜๊ธฐ ๋•Œ๋ฌธ์—, ํšจ์šฉ ๊ฐ€์น˜๋Š” ๋ชจ๋ฅด๊ฒ ์œผ๋‚˜ ์–ด๋Š์ •๋„ GPT4๋ฅผ ํ‰๋‚ด๋‚ผ ์ˆ˜๋Š” ์žˆ๋‹ค๋Š” ๋ง์ด ๋งž๋Š”๊ฒƒ ๊ฐ™๊ธฐ๋„ ํ•ฉ๋‹ˆ๋‹ค (GPT4๋ฅผ ๋›ฐ์–ด๋„˜์—ˆ๋‹ค! ๋ผ๋Š” ๋ง์ด ์ข€ ์ด์ƒํ•œ)

์•ˆํƒ€๊นŒ์šด ์ ์€ ์‹œ๋„๋˜๋Š” ๋ชจ๋ธ์˜ ์‚ฌ์ด์ฆˆ๊ฐ€ ์ปค์ง์— ๋”ฐ๋ผ, ์ด๋Ÿฐ ๋…ธ๋ ฅ์— ํˆฌ์ž…๋˜๋Š” ํ•˜๋“œ์›จ์–ด ๋ฆฌ์†Œ์Šค๊ฐ€ ๊ฝค๋‚˜ ๋‚ญ๋น„๋˜๊ณ  ์žˆ๋‹ค๋Š” ์ ์ž…๋‹ˆ๋‹ค. ๋ญ๋ž„๊นŒ, ๊ธฐ์กด ํ”„๋กœ๊ทธ๋ž˜๋ฐ ์—์„œ ๋ฒ„๊ทธ๊ฐ€ ์ƒ๊ธฐ๋ฉด print ํ•œ ์ค„ ์ถ”๊ฐ€ํ•˜๊ณ  ๋ฐ์ดํ„ฐ๋ฅผ ์ฐ์–ด๋ณด๋Š”๊ฒŒ, ML ์„ธ๊ณ„์—์„œ๋Š” ๋ฐ์ดํ„ฐ ์ƒ์„ฑ ๋ฐฉ๋ฒ•์„ ์•ฝ๊ฐ„ ๋ฐ”๊พผ ๋’ค ํŒŒ์ธํŠœ๋‹ํ•˜๋Š”๊ฑฐ๋ž‘ ๋น„์Šทํ•˜์ง€ ์•Š๋‚˜ ์‹ถ์€๋ฐ์š”, ๋Œ€์‹  ๋น„์šฉ ์ฐจ์ด๊ฐ€ ์‹ฌํ•˜์ฃ . ์‚ฌ์‹ค ๋ฐ์ดํ„ฐ๋ฅผ ๋ฉด๋ฐ€ํžˆ ๊ด€์ฐฐํ•˜๊ณ  / ํด๋ฆฌ๋‹ํ•˜๋Š” ๊ฒƒ ๋งŒ์œผ๋กœ๋„ ๊ฝค๋‚˜ ์‹œ๊ฐ„์ด ์†Œ์š”๋˜์–ด์•ผ ํ•˜์ง€๋งŒ, ๊ทน์†Œ์ˆ˜์˜ ๊ทธ๋ฃน์œผ๋กœ ๊ธฐ์—ฌ๊ฐ€ ์ด๋ฃจ์–ด์ง€๋Š” ์˜คํ”ˆ์†Œ์Šค ์ปค๋ฎค๋‹ˆํ‹ฐ ์ฐจ์›์—์„œ ๊ฑฐ์˜ ๋งค ์ฃผ ์ƒˆ๋กœ์šด ๋ชจ๋ธ์„ ๊ตฌ์›Œ๋‚ด๋Š” ํ–‰์œ„๋Š” ์•ฝ๊ฐ„ ์Œ...?

์ €๋Š” LLM์ด๋‚˜ ML์€ ์ž˜ ๋ชจ๋ฅด์ง€๋งŒ, ์ผ๋‹จ 7B ๋ชจ๋ธ๋กœ ๊ฐˆ ์ˆ˜ ์žˆ๋Š” ๋์ด ์–ด๋”˜์ง€ ํ™•์ธํ•ด ๋ณด๋ฉด ์–ด๋–จ๊นŒ ์‹ถ์Šต๋‹ˆ๋‹ค. ๋‹ค๋งŒ ๋ฒ”์šฉ ๋Œ€์‹  ํŠน์ • ์ƒํ™ฉ์— ํ•œ์ •๋œ ํŒŒ์ธํŠœ๋‹์„ ํ•ด๋ณด๋Š”๊ฒŒ ํ›จ์”ฌ ๋” ์˜๋ฏธ ์žˆ์„๊ฒƒ ๊ฐ™๊ตฐ์š”. ๊ฐ€๋ น ํŠน์ • (์–ธ์–ด, ํ”„๋ ˆ์ž„์›Œํฌ, ํƒ€๊นƒ ํ™˜๊ฒฝ)์— ๋Œ€ํ•ด ์ฝ”๋”ฉ์„ ๋„์™€์ค€๋‹ค๊ฑฐ๋‚˜, ํŠน์ • ํ™˜๊ฒฝ์˜ ๋ณต์žกํ•œ CLI ๊ณ„์ธต ๊ตฌ์กฐ๋ฅผ ์ธ์‹ํ•˜์—ฌ ์š”๊ตฌ์‚ฌํ•ญ์— ๋งž๋Š” CLI๋ฅผ ์ž๋™ ๊ตฌ์„ฑํ•ด ์ค€๋‹ค๊ฑฐ๋‚˜, DoctorGPT ๊ฐ™์€ ๊ฒƒ์ด๋ผ๊ฑฐ๋‚˜, ์ผ์ • ๊ด€๋ฆฌ๋ฅผ ํ•ด์ค€๋‹ค๊ฑฐ๋‚˜ ๋“ฑ๋“ฑ... sLLM ์œผ๋กœ๋„ ๊ฐ€๋Šฅํ•˜๋‹ค๋Š” ๊ฒƒ์„, ํŠนํžˆ LoRA๋ฅผ ์”Œ์›Œ์„œ ๊ฐ€๋Šฅํ•˜๋‹ค๋Š” ๊ฒƒ์„ ๋ณด์—ฌ์ฃผ๋ฉด ์žฌ๋ฐŒ์„๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค. ์‚ฌ์‹ค ๋Œ€๋ถ€๋ถ„์˜ ๋น„์ฆˆ๋‹ˆ์Šค์— "๋ฒ”์šฉ" ๋ชจ๋ธ์ด ํ•„์š”ํ•˜์ง€ ์•Š์€ ๊ฒฝ์šฐ๊ฐ€ ๋ณดํ†ต์ผ๊ฒƒ ๊ฐ™๊ตฌ์š”.

์—”์ง€๋‹ˆ์–ด๋ง ์ธก๋ฉด์—์„œ๋„ Larger ๋ชจ๋ธ์„ ์„œ๋น™ํ•˜๊ณ , ํŠœ๋‹ํ•˜๋Š” ๊ธฐ๋ฒ•๋“ค์ด ์†์† ๋“ฑ์žฅํ•˜๊ณ  ์žˆ์ง€๋งŒ, ์ด ๋ฐฉ๋ฒ•๋“ค์ด ๋‚˜์˜ค๋”๋ผ๋„ ์‹ค์ œ ์‚ฌ์šฉํ™”ํ•ด์„œ ์ ์ž๋ฅผ ๋ชจ๋ฉดํ•˜๊ณ  ์‹ค์ œ ํ‘์ž๋ฅผ ์–ป๊ธฐ๋ž€ ์‰ฝ์ง€ ์•Š์„๊ฒƒ์ž…๋‹ˆ๋‹ค. ์ ์  ๋” ํšจ์œจ์ , ํšจ๊ณผ์ ์ด๊ธฐ๋Š” ํ•˜์ง€๋งŒ ์—ฌ์ „ํžˆ GPU์— ํ™œํ™œ ํƒœ์›Œ์•ผ ํ•˜๋Š” ๋น„์šฉ์€ ์ƒ์ƒ์„ ์ดˆ์›”ํ•  ๋“ฏ ์‹ถ๊ตฐ์š”. ๊ทธ ๋Œ€์‹  sLLM์œผ๋กœ ํ•  ์ˆ˜ ์žˆ๋Š” ์ˆ˜์ค€์„ ์–ด๋Š์ •๋„ ๋ช…ํ™•ํžˆ ํŒŒ์•…ํ•˜๊ณ , ์‹ค์ œ ๊ฐ€๋Šฅํ•œ ๋ญ”๊ฐ€๋ฅผ ๋งŒ๋“ค๊ณ  ์„œ๋น™ํ•˜๋Š” ์ „์ฒด ์‹œ์Šคํ…œ์„ ๋งŒ๋“ค์–ด๋ณด๋Š”๊ฒŒ ์—”์ง€๋‹ˆ์–ด๋ง ์ธก๋ฉด์—์„œ ๋ณผ ๋•Œ ๊ฐœ์ธ์ ์œผ๋กœ ์žฌ๋ฐŒ์„ ๋“ฏ ์‹ถ๋„ค์š” ใ…Ž

์š”๋Š” ๊ฐœ์ธ์œผ๋กœ์„œ ๋Œ€๊ทœ๋ชจ ๋ชจ๋ธ์„ ํŒŒ์ธํŠœ๋‹ํ•  ์ž์› ์กฐ์ฐจ๋„ ์—†์ง€๋งŒ, ๋งŒ์•ฝ ์ œ๊ฐ€ ํŒŒ์ธํŠœ๋‹ ์ „์Ÿ์— ์ฐธ์—ฌํ•˜๋”๋ผ๋„, ์–ด๋–ค ํฐ ๊ตํ›ˆ์„ ์–ป๊ธฐ ํž˜๋“ค๊ฒƒ ๊ฐ™๋‹ค๋Š” ์ƒ๊ฐ์ด ๋“ญ๋‹ˆ๋‹ค. ๋ช‡ ๊ฐ€์ง€ ์žฌ๋ฏธ๋‚œ ๊ฒฝํ—˜์€ ๊ฐ€๋Šฅํ•˜๊ฒ ์ง€๋งŒ, ๊ทธ๋ณด๋‹ค๋Š” up coming ๋ชจ๋ธ์„ ๋Œ€๋น„ํ•˜๋ฉฐ ์‹œ์Šคํ…œ ์•„ํ‚คํ…์ฒ˜๋ฅผ ์„ค๊ณ„ํ•˜๊ณ  ๊ตฌํ˜„ํ•ด ๋ณด๋Š”๊ฒŒ ํ›จ์‹  ๋” ํฐ ์˜๋ฏธ๊ฐ€ ์žˆ์ง€ ์•Š์„๊นŒ ์‹ถ๋‹ค๋Š” ์ƒ๊ฐ์ด ๋“œ๋Š”...

์ ์  ๋” ์ข‹์€ ๋ชจ๋ธ๋“ค์ด ๋“ฑ์žฅํ•˜๋Š”๋“ฏ ๋ณด์ด์ง€๋งŒ, ์˜คํžˆ๋ ค ๋ณด์ž๋งˆ์ž "์ด๊ฑด hype" ์ด๋ผ๊ณ  ์ƒ๊ฐํ•˜๊ณ  ๋ฌด์‹œํ•˜๋Š” ๊ฒฝ์šฐ๊ฐ€ ๋Œ€๋‹ค์ˆ˜๊ฐ€ ๋˜์–ด๋ฒ„๋ฆฐ ์ƒํ™ฉ๊ฐ™๊ณ , ์˜คํ”ˆ์†Œ์Šค LLM์€ ๋†’์€ ๊ฐ€๋Šฅ์„ฑ์„ ๊ฐ€์กŒ์œผ๋ฉฐ ์‹œ๋„ํ•ด ๋ณด์„ธ์š”! ๋ผ๊ณ  ์˜คํ”ˆ์†Œ์Šค ํ”„๋กœ์ ํŠธ๋ฅผ ํ•ด๋‘ ์‹ค์ œ๋กœ๋Š” ๊ฑฐ์˜ ์‚ฌ์šฉํ•˜๋Š” ์‚ฌ๋žŒ์ด ์—†์–ด์„œ ๋ญ”๊ฐ€ ํšŒ์˜์ ์ด๊ตฐ์š” ใ…‹ใ…‹ใ…‹ ์•ฝ 3์ฃผ๊ฐ„์˜ ์ถœ์žฅ ํ›„ ๋ณต๊ท€ํ–ˆ๋Š”๋ฐ์š”, ๊ทธ ๋™์•ˆ ์ž ์‹œ ๋’ท์ง์ง€๊ณ  ์ปค๋ฎค๋‹ˆํ‹ฐ ํ™œ๋™์„ ๊ฑฐ์˜ ์•ˆํ•˜๋ฉฐ ๊ทธ๋™์•ˆ ์–ป์€๊ฒŒ ๋ญ์˜€๋‚˜... ๊ฐ™์€ ์ƒ๊ฐ์„ ํ•˜๋ฉฐ ์ด๋Ÿฐ ๊ธ€์„ ์‹ธ์งˆ๋Ÿฌ ๋ด…๋‹ˆ๋‹ค

Great! Youโ€™ve successfully signed up.

Welcome back! You've successfully signed in.

You've successfully subscribed to zoomg.

Success! Check your email for magic link to sign-in.

Success! Your billing info has been updated.

Your billing was not updated.