๋ณธ๋ฌธ ๋ฐ”๋กœ๊ฐ€๊ธฐ

ํšŒ๊ณ  ๐Ÿค”12

[๋„ค๋ถ€์บ  AI Tech] 5์ฃผ์ฐจ ํ•™์Šต ์ •๋ฆฌ ๐Ÿค“ ๋ชฉ์ฐจ ์ถ”ํ›„ ๋‚ด์šฉ์„ ์•ฝ๊ฐ„ ๋ณด์ถฉํ•  ์˜ˆ์ •. ํ•™์Šต ์ •๋ฆฌ & ๋ฐฐ์šด์  # 231127 ํ•™์Šต ์ •๋ฆฌ ๋ฐ ๋ฐฐ์šด์  ๐Ÿ“š [ GNN ๊ธฐ๋ฐ˜์˜ ์ถ”์ฒœ ์‹œ์Šคํ…œ ] - graph - ๊ทธ๋ž˜ํ”„๋ž€? ๋…ธ๋“œ์™€ ์—ฃ์ง€๋กœ ๊ตฌ์„ฑ๋œ ์ž๋ฃŒ๊ตฌ์กฐ. ๊ฐœ์ฒด ๊ฐ„ ๊ด€๊ณ„๋ฅผ ํ‘œํ˜„ํ•˜๊ธฐ ์ ์ ˆํ•จ. ์ฝ”๋กœ๋‚˜์˜ ์ „ํŒŒ, ์œ ์ €-์•„์ดํ…œ ์†Œ๋น„, social network์— ์ฃผ๋กœ ์“ฐ์ž„ - Graph Convolution: ์ปจ๋ณผ๋ฃจ์…˜์€ ์ด๋ฏธ์ง€์™€ ๊ฐ™์€ 2D, 3D ์œ ํด๋ฆฌ๋””์•ˆ ๊ณต๊ฐ„์—์„œ ์ง€์—ญ์  ํŠน์„ฑ์„ ์บก์ฒ˜ํ•˜๊ธฐ ์œ„ํ•œ ์—ฐ์‚ฐ์ž. ๊ทธ๋ž˜ํ”„ ์ปจ๋ณผ๋ฃจ์…˜์€ non-euclidian ๊ณต๊ฐ„์—์„œ ์—ฃ์ง€๋กœ ์—ฐ๊ฒฐ๋œ local connectivity๋ฅผ ์บก์ฒ˜ํ•จ. - NGCF - neural graph collaborative filtering์˜ ์•ฝ์–ด๋กœ, ๊ทธ๋ž˜ํ”„ ๊ธฐ๋ฐ˜์˜ ํ˜‘์—… ํ•„ํ„ฐ๋ง ๋ฐฉ๋ฒ•๋ก  - ๊ธฐ์กด MF ๋ฐฉ์‹๋“ค์€ ์œ ์ €์™€ ์•„์ดํ…œ .. 2023. 12. 8.
[๋„ค๋ถ€์บ  AI Tech] 4์ฃผ์ฐจ ํ•™์Šต ์ •๋ฆฌ ๐Ÿค“ ๋ชฉ์ฐจ ํ•™์Šต ์ •๋ฆฌ & ๋ฐฐ์šด์  # 231127 ํ•™์Šต ์ •๋ฆฌ ๋ฐ ๋ฐฐ์šด์  ๐Ÿ“š - ์ „๋ฐ˜์ ์œผ๋กœ ๊ฐœ๋…๋“ค์„ ์ •๋ˆํ•  ์ˆ˜ ์žˆ๋Š” ๊ธฐํšŒ๊ฐ€ ๋จ. - ๋‹ค์–‘์„ฑ, ์ฐธ์‹ ํ•จ, ์ƒˆ๋กœ์›€, ๊ด€๋ จ์„ฑ ๋ฟ๋งŒ ์•„๋‹ˆ๋ผ ๋น„์ฆˆ๋‹ˆ์Šค ์ธก๋ฉด์—์„œ ๋งค์ถœ, CTR, PV ๋ฅผ ๋†’์ด๋Š” ๋ฐฉํ–ฅ์œผ๋กœ ์‹œ์Šคํ…œ์„ ๊ฐœ๋ฐœํ•ด์•ผ ํ•œ๋‹ค๋Š” ๊ฒƒ์„ ์งš๊ฒŒ ๋จ - ์ธ๊ธฐ๋„ ๊ธฐ๋ฐ˜ ์ถ”์ฒœ์€ ๋‹จ์ˆœํžˆ ํ‰์ ์ด ๋†’๊ฑฐ๋‚˜ view๊ฐ€ ๋†’์€ ๊ฒŒ ์•„๋‹ˆ๋ผ, ์ตœ์‹ ์„ฑ๊ณผ ์‹ ๋ขฐ๋„๋ฅผ ๋ฐ˜์˜ํ•ด์•ผ ํ•˜๋ฉฐ, ๊ฐ ๊ธฐ์—… ๋ฐ ํ”Œ๋žซํผ๋งˆ๋‹ค ๋ชฉ์ ์— ๋งž๊ฒŒ ์ง€ํ‘œ(formula)๋ฅผ ๊ฐœ๋ฐœํ•˜์—ฌ ์‚ฌ์šฉํ•œ๋‹ค๋Š” ๊ฒƒ์„ ์•Œ์•˜์Œ. - MAP์˜ ์ˆ˜์‹์—์„œ.. AP์—์„œ m์ด ๋ญ˜๊นŒ ํ–ˆ๋Š”๋ฐ, ๋ชจ๋“  ์•„์ดํ…œ ์ค‘์—์„œ ์‚ฌ์šฉ์ž๊ฐ€ ์ข‹์•„ํ•œ ์•„์ดํ…œ ์ˆ˜๋ผ๊ณ  ํ•œ๋‹ค. Average Precision์„ ๊ตฌํ•  ๋•Œ๋Š” Pr@1 ~ Pr@K์˜ ์‚ฐ์ˆ ํ‰๊ท (K๋กœ ๋‚˜๋ˆ”)์ด ์•„๋‹Œ ์‚ฌ์šฉ์ž๊ฐ€ ์ข‹์•„ํ•œ ์•„์ดํ…œ ์ˆ˜๋กœ ๋‚˜๋ˆ„์–ด์„œ.. 2023. 12. 1.
[๋„ค๋ถ€์บ  AI Tech] 3์ฃผ์ฐจ ํ•™์Šต ์ •๋ฆฌ ๐Ÿค“ ๋ชฉ์ฐจ ํ•™์Šต ์ •๋ฆฌ & ๋ฐฐ์šด์  # 231120 ๊ณ„ํš์„ ๋ชจ๋‘ ๋‹ฌ์„ฑํ•œ ํ™œ๊ธฐ์ฐฌ ์›”์š”์ผ! ํ•™์Šต ์ •๋ฆฌ ๐Ÿคญ - ๋”ฅ๋Ÿฌ๋‹์—์„œ ๋ฐ์ดํ„ฐ, ๋ชจ๋ธ, ๋ชฉ์  ํ•จ์ˆ˜, ํ•™์Šต ์•Œ๊ณ ๋ฆฌ์ฆ˜ ์ด ๋„ค ๊ฐ€์ง€ ์š”์†Œ๊ฐ€ ๋งค์šฐ ์ค‘์š”ํ•˜๊ณ , ๋‹น์—ฐํ•˜๊ฒŒ ์ ์šฉํ•˜๋Š” ๊ฒƒ์€ ์ ˆ๋Œ€์ ์œผ๋กœ ์—†๋‹ค๋Š” ์‚ฌ์‹ค์„ ํ•ญ์ƒ ์œ ๋…ํ•ด์•ผ ํ•จ. ๋‚ด ๋ชฉ์ ์„ ๋‹ฌ์„ฑํ•˜๊ธฐ ์œ„ํ•ด ์ ํ•ฉํ•œ ๋ฐฉ๋ฒ•์ธ์ง€ ์ž๊พธ๋งŒ ๋‹ค์‹œ ๋ฌป๋Š” ์Šต๊ด€์ด ํ•„์š”ํ•  ๋“ฏ - Denny Britz์˜ white paper ํ•œ ๋ฒˆ์€ ์ฝ์–ด๋ณด๋Š” ๊ฒƒ์ด ์ข‹๊ฒ ๋‹ค. Residual connection์€ "๋”ฅ"๋Ÿฌ๋‹์„ ๊ฐ€๋Šฅ์ผ€ํ•œ ๋ฐฉ๋ฒ•๋ก ์œผ๋กœ ๊นŠ์€ ์ธต์„ ์Œ“์•„๋„ ์ผ๋ฐ˜ํ™” ์„ฑ๋Šฅ์ด ๋–จ์–ด์ง€์ง€ ์•Š๊ณ , ๋ชจ๋ธ์ด ๋” ๋ณต์žกํ•˜๊ณ  ์ค‘์š”ํ•œ ํ‘œํ˜„์„ ํ•™์Šตํ•  ์ˆ˜ ์žˆ๊ฒŒ ํ•จ. GAN์—์„œ ์–ธ๊ธ‰๋œ ์บ๋‚˜๋‹ค์˜ ์ˆ ์ง‘์— ๊ผญ ๊ฐ€๋ด์•ผ์ง€ ๐Ÿป ํ˜น์‹œ ๋‚˜๋„ ํš๊ธฐ์ ์ธ ์•„์ด๋””์–ด๊ฐ€ ๋– ์˜ค๋ฅผ์ง€ ๋ชฐ๋ผ.. Transformer๋Š” Cha.. 2023. 11. 24.
[๋„ค๋ถ€์บ  AI Tech] 2์ฃผ์ฐจ ํ•™์Šต ์ •๋ฆฌ ๐Ÿค“ ํšŒ๊ณ ๋ณด๋‹ค๋Š” ํ•™์Šต ์ •๋ฆฌ๊ฐ€ ์ข€ ๋” ์–ด์šธ๋ฆฌ๋Š” ์ œ๋ชฉ์ธ ๊ฒƒ ๊ฐ™์•„ ๋ฐ”๊ฟ”๋ดค๋‹ค. ์ง€๋‚œ ์ฃผ๋Š” ์ ์‘ + ๊ธฐ์ดˆ ๊ฐ•์˜์˜€๋‹ค๋ฉด ์ด๋ฒˆ ์ฃผ๋Š” PyTorch์˜ ๊ธฐ์ดˆ์™€ ๊ตฌํ˜„ ๊ณผ์ œ๋กœ ๊ตฌ์„ฑ๋˜์–ด ์žˆ์—ˆ๊ณ , ์ด˜์ด˜ํ•œ ์„ค๋ช…์— ์žฌ๋ฏธ์žˆ๊ฒŒ ๋”ฐ๋ผ๊ฐ€๋ณด์•˜๋‹ค..๐Ÿƒ๐Ÿป‍โ™‚๏ธ ๋ชฉ์ฐจ ํ•™์Šต ์ •๋ฆฌ & ๋ฐฐ์šด์  # 231113 ์ข€ ํ•  ๋งŒ ํ•œ๊ฐ€? ํ•™์Šต ์ •๋ฆฌ ๐Ÿคญ [ PyTorch Basics ] - ํŒŒ์ดํ† ์น˜์˜ ๊ธฐ๋ณธ์ ์ธ ์—ฐ์‚ฐ์ž - ํ…์„œ๋Š” list, numpy๋ฅผ ํ†ตํ•ด ๋งŒ๋“ค ์ˆ˜ ์žˆ์Œ. dims, shape, size() ์‚ฌ์šฉ ๊ฐ€๋Šฅ. - ๋™์ผ ๋ชจ์–‘ ํ…์„œ ๊ฐ„ ๋ง์…ˆ, ๋บ„์…ˆ, ์Šค์นผ๋ผ๊ณฑ ๊ฐ€๋Šฅ. - ๊ณฑ ๊ฐ€๋Šฅํ•œ ํ–‰๋ ฌ ๊ฐ„ mm() ๋ฉ”์„œ๋“œ ์‚ฌ์šฉ, ๊ณฑ ๊ฐ€๋Šฅํ•œ ๋ฒกํ„ฐ ๊ฐ„ dot() ๋ฉ”์„œ๋“œ ์‚ฌ์šฉ. broadcasting ์ง€์›ํ•˜๋Š” ๋ฉ”์„œ๋“œ๋Š” matmul() - ํ…์„œ์—๋Š” squeeze, unsqueeze(=e.. 2023. 11. 17.
[๋„ค๋ถ€์บ  AI Tech] 1์ฃผ์ฐจ ํšŒ๊ณ  ๐Ÿค“ ํ•ฉ๋ฅ˜ ์†Œ์‹์— ๊ธฐ๋ปํ–ˆ๋˜ ๊ฒŒ ์–ด์ œ ๊ฐ™์€๋ฐ, ์–ด๋Š ์ƒˆ 1์ฃผ์ฐจ์˜ ๋งˆ์ง€๋ง‰ ๋‚ ๋„ ๊ฑฐ์˜ ๋๋‚˜๊ฐ„๋‹ค ๐Ÿ˜… ๋ง‰์ƒ ์‹œ์ž‘ํ•ด๋ณด๋‹ˆ ์›ƒ์œผ๋ฉด์„œ ๋์„ ๋ณผ ์ˆ˜ ์žˆ์„์ง€๋Š” ์ž˜ ๋ชจ๋ฅด๊ฒ ...๋Š” (?) ์ฒซ ์ฃผ์ฐจ์˜ ํšŒ๊ณ ๋ฅผ ๋‚จ๊ฒจ๋ณธ๋‹ค. ๋ชฉ์ฐจ ์ผ๋ณ„ ์†Œ๊ฐ & ๋ฐฐ์šด์  # 231106 ๋Œ€๋ง์˜ ์ฒซ ๋‚  ์†Œ๊ฐ ๐Ÿคญ ํ›„๋‹ค๋‹ฅ ์ˆ˜๊ฐ•ํ•  ๊ฐ•์˜๋Ÿ‰์„ ํ›‘์–ด๋ณด์•˜๋Š”๋ฐ, ์˜ค.. ์ƒ๊ฐ๋ณด๋‹ค๋„ ํ›จ์”ฌ ๋งŽ์•˜๋‹ค !! ๋‚˜๋Š” Python ๋ณด๋‹ค๋Š” ์ˆ˜ํ•™์— ํ›จ์”ฌ ์•ฝํ•˜๋‹ˆ๊นŒ AI Math ๋ถ€ํ„ฐ ์ฐจ๊ทผ์ฐจ๊ทผ ๋“ฃ๊ธฐ๋กœ ๊ฒฐ์‹ฌํ–ˆ๋‹ค ์ฒซ ๋‚ ์ด๋ผ ์•ž์œผ๋กœ์˜ ๊ณผ์ •์— ๋Œ€ํ•œ ์†Œ๊ฐœ, ๋‚ด ์†Œ๊ฐœ, ํŒ€ ์†Œ๊ฐœ๋ฅผ ํ•˜๋Š๋ผ ์ •์‹ ์ด ์—†์—ˆ๋‹ค. ๋ฐฐ์šด์  ๐Ÿ“š ๋ฒกํ„ฐ, ํ–‰๋ ฌ์„ ์–ด๋–ค ๊ด€์ ์—์„œ ๋ณด๋Š๋ƒ์— ๋”ฐ๋ผ ์—ฐ๋ฆฝ๋ฐฉ์ •์‹์„ ํ’€์–ด๋‚ผ์ˆ˜๋„, ์„ ํ˜•ํšŒ๊ท€๋ถ„์„์„ ํ•  ์ˆ˜๋„ ์žˆ์Œ ํ–‰๋ ฌ์€ ๋ฐ์ดํ„ฐ๋„ ๋˜๊ณ , operator๋„ ๋  ์ˆ˜ ์žˆ์Œ ์—ญํ–‰๋ ฌ์ด ์—†์œผ๋ฉด? ๊ฐ€์งœ ์—ญํ–‰๋ ฌ์„ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๊ณ ,.. 2023. 11. 10.
๋„ค์ด๋ฒ„ ๋ถ€์ŠคํŠธ์บ ํ”„ AI Tech 6๊ธฐ ํ•ฉ๊ฒฉ ํ›„๊ธฐ (ํ˜„์—…์ข…์‚ฌ์ž, ํ”„๋ฆฌ์ฝ”์Šค ์ˆ˜๊ฐ•, KDT ์ „ํ˜•) ๋ชฉ์ฐจ โœจ์ถ•ํ•ฉ๊ฒฉโœจ ์šฐ์„  ๋งค์šฐx10000000์œผ๋กœ ๊ธฐ์˜๊ฒŒ๋„ ํ•ฉ๊ฒฉํ–ˆ๋‹ค ์•ผํ˜ธ !! ํ•ฉ๊ฒฉ์ผ์€ ์ง€๊ธˆ์œผ๋กœ๋ถ€ํ„ฐ ์ผ์ฃผ์ผ๋„ ๋” ๋œ 10์›” 18์ผ์ด์—ˆ์ง€๋งŒ, ๋ฐ”์˜๋‹ค๋Š” ํ•‘๊ณ„๋กœ ์ด์ œ์„œ์•ผ ํ›„๊ธฐ๋ฅผ ๋„์ ์—ฌ๋ณธ๋‹ค. ํ˜„์žฌ ์ƒํƒœ ํ•ฉ๋ฅ˜ ์˜์‚ฌ๋ฅผ ์ „๋‹ฌํ•˜๊ณ  ์˜จ๋ณด๋”ฉ ์ผ์ •์„ ์„ค๋ ˆ์ด๋Š” ๋งˆ์Œ์œผ๋กœ ๊ธฐ๋‹ค๋ฆฌ๊ณ  ์žˆ์œผ๋ฉฐ, ๋™์‹œ์— ํ‡ด์ง ์ ˆ์ฐจ๋ฅผ ๋ฐŸ๊ณ  ์žˆ๋‹ค. ์‹ ์ฒญ ๋ฐฐ๊ฒฝ ์‚ฌ์‹ค ๋‚˜๋Š” ๋ฌด๋ ค ํƒ€์ดํ‹€๋งŒ์œผ๋กœ๋Š” A.I. team ์—์„œ AI ์—ฐ๊ตฌ์›์œผ๋กœ ์žˆ๋Š” ์žฌ์ง์ž(์˜€)๋‹ค. ๋ถ€์ „๊ณต์— ํ•™์‚ฌ๋กœ ์‹œ์ž‘ํ•œ ๋‚˜๋Š” ํ˜„์—…์—์„œ ์ผํ•œ์ง€๋Š” ๋„ํ•ฉ 3์—ฌ ๋…„์ด ๋˜์–ด๊ฐ€์ง€๋งŒ, ํ•ญ์ƒ ๋ฐฐ์›€์— ๋ชฉ๋งˆ๋ฆ„์ด ์žˆ์—ˆ๋‹ค. ํ•™์‚ฌ๋ผ๋Š” ํƒ€์ดํ‹€์— ๋Œ€ํ•œ ๋ฌธ์ œ๋ณด๋‹ค๋Š”, ์ธ๊ณต์ง€๋Šฅ์˜ ๊ธฐ๋ฐ˜ ์ง€์‹์ธ ์„ ํ˜•๋Œ€์ˆ˜, ํ™•๋ฅ ๋ก ์— ๋Œ€ํ•ด์„œ ์•ฝํ•˜๋‹ค๋Š” ์ƒ๊ฐ์ด ์Šค์Šค๋กœ ๋งŽ์ด ๋“ค์—ˆ๊ธฐ ๋•Œ๋ฌธ์ด๋‹ค. ๋˜ ์ž‘์€ ๊ทœ๋ชจ์— ํ˜„์—…์— ์žˆ์—ˆ๋‹ค๋ณด๋‹ˆ, CV, Recsys, NLP ์กฐ๊ธˆ์”ฉ ์ฐ๋จน๋งŒ.. 2023. 10. 30.