๋ณธ๋ฌธ ๋ฐ”๋กœ๊ฐ€๊ธฐ

ํšŒ๊ณ  ๐Ÿค”12

[๋„ค๋ถ€์บ  AI Tech] 10์ฃผ์ฐจ ํ•™์Šต ์ •๋ฆฌ ๐Ÿค“ ํ•™์Šต ์ •๋ฆฌ & ๋ฐฐ์šด์  # 240108 ํ•™์Šต ์ •๋ฆฌ ๋ฐ ๋ฐฐ์šด์  ๐Ÿ“š 3๊ฐ• ์ •๋ฆฌ - ์‹œํ€€์Šค ๋ฐ์ดํ„ฐ๋Š” ์ง‘๊ณ„, FEํ•˜์—ฌ ์ผ๋ฐ˜ ์ •ํ˜• ๋ฐ์ดํ„ฐ์ฒ˜๋Ÿผ ๋˜๋Š” ํŠธ๋žœ์ ์…˜ ๋ฐ์ดํ„ฐ ๊ทธ๋Œ€๋กœ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋Š”๋ฐ, ์ „์ž์˜ ๊ฒฝ์šฐ ์ •๋ณด์˜ ์†์‹ค์ด ๋ถˆ๊ฐ€ํ”ผํ•จ - Tabular Approach/Sequential Approach ๋ฅผ ํ†ตํ•ด ์‹œํ€€์Šค ๋ชจ๋ธ๋ง์ด ๊ฐ€๋Šฅํ•จ. - Tabular Approach ์ •ํ˜• ๋ฐ์ดํ„ฐ๋กœ ๊ฐ€์ •ํ•˜๊ณ  ์ ‘๊ทผ. - FE - ๋ฌธ์ œ๋ฅผ ํ‘ผ ์‹œ์ ์—์„œ ์‚ฌ์šฉ์ž์˜ ์ ์ค‘๋ฅ  - ๋ฌธ์ œ ๋ฐ ์‹œํ—˜ ๋ณ„ ๋‚œ์ด๋„ (์ „์ฒด ์ •๋‹ต์ˆ˜)/(์ „์ฒด ํ’€์ด์ˆ˜) - Train/valid data split: leakage ๋ฐœ์ƒ ์—†์ด ์ชผ๊ฐœ๋ ค๋ฉด ์‹œํ€€์Šค๋ฅผ ์ชผ๊ฐค ๋•Œ, ์œ ์ € ๋ณ„๋กœ ๋ฌถ์–ด์•ผ ์ œ๋Œ€๋กœ ๋œ ํ‰๊ฐ€๊ฐ€ ๋œ๋‹ค. train/test ๋ฐ์ดํ„ฐ์˜ ID ๊ณต์œ  ์—ฌ๋ถ€๋ฅผ ํ™•์ธํ•˜๊ณ , ๊ณต์œ ํ•˜์ง€ ์•Š๋Š”๋‹ค๋ฉด ์œ .. 2024. 1. 12.
[๋„ค๋ถ€์บ  AI Tech] 9์ฃผ์ฐจ ํ•™์Šต ์ •๋ฆฌ ๐Ÿค“ ํ•™์Šต ์ •๋ฆฌ & ๋ฐฐ์šด์  # 240103 ํ•™์Šต ์ •๋ฆฌ ๋ฐ ๋ฐฐ์šด์  ๐Ÿ“š 1์›” ์ผ์ • ํŒŒ์•… ๋ฐ ํ•™์Šต ๊ณ„ํš - 1์›”, 4์ฃผ ๊ธฐ๊ฐ„ ๋™์•ˆ DKT ํƒœ์Šคํฌ ๊ด€๋ จ ๋Œ€ํšŒ ํ”„๋กœ์ ํŠธ๋ฅผ level2,3 ๋ฉค๋ฒ„๋“ค๊ณผ ํ•จ๊ป˜ ์ง„ํ–‰ํ•  ๊ฒƒ. ์ง€๋‚œ ํ”„๋กœ์ ํŠธ์—์„œ ๊นจ๋‹ฌ์€ ๊ฒƒ์„ ๋ฐ”ํƒ•์œผ๋กœ, ์ด๋ฒˆ ํ”Œ์ ์˜ ๊ด€๋ฆฌ ๋ฐฉํ–ฅ์„ ์กฐ์ •ํ•ด๋ณผ ์˜ˆ์ • - ์ง€๋‚œ ํ”„๋กœ์ ํŠธ์—์„œ ๊ฐ•์˜๋ฅผ ๋ชจ๋‘ ์ˆ˜๊ฐ•ํ•˜์ง€ ๋ชปํ•œ ๊ฒƒ์ด ์•„์‰ฌ์›Œ, ์ฐจ์ฃผ๊นŒ์ง€ ๋ชจ๋“  ๊ฐ•์˜๋ฅผ ์ˆ˜๊ฐ•ํ•˜๋Š” ๊ฒƒ์„ ๋ชฉํ‘œ๋กœ ๋‘ . ํ•˜์ง€๋งŒ ์ด๋Š” ์ ˆ๋Œ€์ ์ธ ๊ฒƒ์ด ์•„๋‹ˆ๋ฉฐ, ๋‚˜์˜ ํŒ๋‹จํ•˜์— ํ•™์Šต ์ง„ํ–‰ - ์ง€๋‚œ ์ฃผ ์ˆ˜๊ฐ•ํ•˜์ง€ ๋ชปํ•œ ๊ฐ•์˜๋“ค์€ ์ถ”๊ฐ€ ํ•™์Šต์„ ํ†ตํ•ด ์ˆ˜๊ฐ•ํ•˜์ž DKT ์ดํ•ดํ•˜๊ธฐ - ๊ต์œก๊ณผ ๊ด€๋ จํ•œ ์ถ”์ฒœ ํ™œ์šฉ ๋ถ„์•ผ. ํ•™์ƒ์˜ ์ง€์‹ ์ƒํƒœ๋ฅผ ์‹œ๊ฐ„์— ๋”ฐ๋ผ ์˜ˆ์ธกํ•˜๋Š” ์ž‘์—… - DKT: Deep Knowledge Tracing์˜ ์•ฝ์ž๋กœ ์ง€์‹ ์ƒํƒœ๋ฅผ ์ถ”์ ํ•˜๋Š” ๋”ฅ๋Ÿฌ๋‹ ๋ฐฉ๋ฒ•๋ก . .. 2024. 1. 5.
[๋„ค๋ถ€์บ  AI Tech] 8์ฃผ์ฐจ ํ•™์Šต ์ •๋ฆฌ ๐Ÿค“ ํ•™์Šต ์ •๋ฆฌ & ๋ฐฐ์šด์  # 231226 ํ•™์Šต ์ •๋ฆฌ ๋ฐ ๋ฐฐ์šด์  ๐Ÿ“š # 231227 ํ•™์Šต ์ •๋ฆฌ ๋ฐ ๋ฐฐ์šด์  ๐Ÿ“š # 231228 ํ•™์Šต ์ •๋ฆฌ ๋ฐ ๋ฐฐ์šด์  ๐Ÿ“š # 231229 ํ•™์Šต ์ •๋ฆฌ ๋ฐ ๋ฐฐ์šด์  ๐Ÿ“š 2023. 12. 29.
[๋„ค๋ถ€์บ  AI Tech] 7์ฃผ์ฐจ ํ•™์Šต ์ •๋ฆฌ ๐Ÿค“ ํ•™์Šต ์ •๋ฆฌ & ๋ฐฐ์šด์  # 231218 ํ•™์Šต ์ •๋ฆฌ ๋ฐ ๋ฐฐ์šด์  ๐Ÿ“š - stratified k-fold cross validation ๊ธฐ๋Šฅ์„ ๊ตฌํ˜„ํ•˜์˜€๋Š”๋ฐ, ์ฝ”๋“œ๊ฐ€ ๋งค์šฐ ์ง€์ €๋ถ„ํ•ด์ง€๊ณ  ๊ฐœ๋ณ„์ ์œผ๋กœ ๊ฐœ๋ฐœํ•˜๋Š” ๊ฒŒ ์–ด๋ ค์›Œ์„œ Pull Request๋ฅผ ํฌ๊ธฐํ•˜์˜€๋Š”๋ฐ, ์ข€ ๋” ๋ณด์™„ํ•ด์„œ ๊ทธ๋ƒฅ ์ ์šฉํ•  ๊ฑธ ๊ทธ๋žฌ๋‹ค. ์‹ค๋ฌด์—์„œ๋Š” ์ž˜ ์•ˆ์จ๋„ ์ƒ๊ฐ๋ณด๋‹ค ๋Œ€ํšŒ์—์„œ๋Š” ์ด ๋ฐฉ๋ฒ•์„ ๋งค์šฐ ๋งŽ์ด ์‚ฌ์šฉํ•œ๋‹ค๊ณ  ํ•จ. - ๋žฉ์—… ๋ฆฌํฌํŠธ ์ž‘์„ฑ ์‹œ์ž‘; ๊ธฐ๋Šฅ ๊ฐœ๋ฐœ, ์‹คํ—˜ ๊ด€๋ฆฌ๋Š” ๋ชจ๋‘ ํ•จ๊ป˜ ์ง„ํ–‰ํ•˜์˜€์ง€๋งŒ, ๊ทธ ๊ฒฐ๊ณผ๋ฅผ ๊ณต์œ  ํŽ˜์ด์ง€์—์„œ ๊ธฐ๋กํ•˜์ง€๋Š” ์•Š์•„์„œ ์ทจํ•ฉ์„ ์‹œ์ž‘ํ•จ. ์ ์œผ๋ฉด์„œ, ์•„ ์–ด๋–ค ๋ถ€๋ถ„์€ ๊ผผ๊ผผํ•˜๊ฒŒ ํ–ˆ๊ณ  ์–ด๋–ค ๋ถ€๋ถ„์€ ๊ผผ๊ผผํ•˜๊ฒŒ ์•ˆํ–ˆ๊ตฌ๋‚˜๋ฅผ ๊นจ๋‹ฌ์Œ - FM, FFM์€ ์„ฑ๋Šฅ์ด ์•ˆ๋‚˜์˜ค๋Š”๋ฐ WDN, NCF๋Š” ์„ฑ๋Šฅ์ด ์ž˜ ๋‚˜์˜ค๋Š” ๊ฒƒ์„ ๋ณด๊ณ  DeepFM์„ ๊ตฌํ˜„ํ•ด๋ด์•ผ๊ฒ ๋‹ค๋Š” ์ƒ๊ฐ์„ ํ•˜๊ฒŒ.. 2023. 12. 22.
[๋„ค๋ถ€์บ  AI Tech] 6์ฃผ์ฐจ ํ•™์Šต ์ •๋ฆฌ ๐Ÿค“ ๋ชฉ์ฐจ ํ•™์Šต ์ •๋ฆฌ & ๋ฐฐ์šด์  # 231211 ์ด๋‚  ํ•˜๋ฃจ๋Š” ํฌ์ŠคํŒ…์„ ํ–ˆ๋‹ค. # 231212 ํ•™์Šต ์ •๋ฆฌ ๋ฐ ๋ฐฐ์šด์  ๐Ÿ“š - 3๊ฐ• ๋“ฃ๊ธฐ - latent factor model: ์œ ์ €๋‚˜ ์•„์ดํ…œ์„ ์ถ•์•ฝ๋œ ๋ฒกํ„ฐ ๊ณต๊ฐ„์— ํ‘œํ˜„ํ•  ์ˆ˜ ์žˆ๋‹ค๋Š” ์•„์ด๋””์–ด. - SVD๋Š” ์ˆ˜ํ•™์ ์œผ๋กœ ๋ถ„ํ•ด, MF๋Š” SVD์˜ ์ผ๋ฐ˜ํ™”๋œ ๋ฒ„์ „์œผ๋กœ ์œ ์ €์™€ ์•„์ดํ…œ ํ–‰๋ ฌ์˜ ์„ ํ˜•์ ์ธ ๊ด€๊ณ„๋ฅผ SGD๋กœ ์บก์ฒ˜ํ•˜์—ฌ ํ•™์Šตํ•˜๋Š” ๋ฐฉ๋ฒ•. MF๋ฅผ ALS๋กœ ํ•™์Šตํ•˜๋ฉด, loss๊ฐ€ parameter์— ๋Œ€ํ•ด convex ํ˜•ํƒœ๊ฐ€ ๋˜์–ด ํ•™์Šต์ด ๋” ์‰ฌ์›Œ์ง€๋ฉฐ, ๋ณ‘๋ ฌ ์ฒ˜๋ฆฌ๊ฐ€ ๊ฐ€๋Šฅํ•ด์ ธ ๋” ํšจ์œจ์ ์ธ ํ•™์Šต ๊ฐ€๋Šฅํ•จ - hybrid ์ ‘๊ทผ๋ฒ•: weighted, switching, mixed ๊นŒ์ง€๋Š” ์ดํ•ด๊ฐ€ ๊ฐ€๋Š”๋ฐ, Feature combination, augmentation ๋“ฑ์€ ์ดํ•ด๊ฐ€ ์ž˜ ์•ˆ๋จ - GBT.. 2023. 12. 15.
[๋„ค๋ถ€์บ  AI Tech] 6์ฃผ์ฐจ ์ฒซ์งธ ๋‚  ํ•™์Šต ์ •๋ฆฌ + ์ผ๊ธฐ ๋ชฉ์ฐจ ๊ทธ๋ƒฅ ์ผ๊ธฐ + ๋ฐฐ์šฐ๋ฉด์„œ ์ƒ๊ฐํ•œ ๊ฒƒ๋“ค ๊ธฐ๋ก ์˜ค๋Š˜ ํ•œ ์ผ - Book Rating EDA ๋”ฐ๋ผ๊ฐ€๊ธฐ - ๋„๋ฉ”์ธ ๊ธฐ์ดˆ ๋Œ€ํšŒ ๊ณ„ํšํ•˜๊ธฐ - 1,2๊ฐ• ๊ฐ•์˜ ์ˆ˜๊ฐ• - ์ตœ์ข… ํ”„๋กœ์ ํŠธ ํŒ€์—… ๊ด€ํ•ด ์ƒ๊ฐํ•˜๊ธฐ Book Rating EDA ๋”ฐ๋ผ๊ฐ€๊ธฐ - ์ถ”์ฒœ ํŠธ๋ž™์˜ ๋ฐ์ดํ„ฐ๋Š” ์˜คํ”ˆ์†Œ์Šค ๋ฐ์ดํ„ฐ๋ผ ์ฝ”๋“œ๋งŒ ์กฐ๊ธˆ ์กฐ์‹ฌํ•˜๋ฉด ๋˜์–ด ๋‹คํ–‰..(์ธ๊ฐ€?)์ด๋‹ค! - kaggle์—์„œ์˜ ๋ˆ„๊ตฌ๋ณด๋‹ค ๋น ๋ฅธ EDA ํŒŒ์ผ ์˜ฌ๋ฆฌ๊ธฐ! ๋ฅผ ์‹œ๋„ํ•˜๊ณ  ์‹ถ์—ˆ๋Š”๋ฐ, ์ด ํ”Œ๋žซํผ์—๋Š” ๋…ธํŠธ๋ถ ์—…๋ฐ์ดํŠธ ๊ธฐ๋Šฅ์ด ๋”ฐ๋กœ ์—†๊ณ , ์ด๋ฏธ well-established EDA ํŒŒ์ผ์ด ์žˆ์–ด์„œ ๋จธ์“ฑํ•˜๊ฒŒ ๋”ฐ๋ผ๊ฐ€๋ณด๋Š” ์ค‘์ด๋‹ค. ๋‚˜๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ์œ ๋ž‘ํ•˜๋ฉฐ ๋ฐœ๊ตดํ•˜๋Š” ๊ฒƒ์„ ๋งค์šฐ๋งค์šฐ ์ฆ๊ธฐ๋Š” ์‚ฌ๋žŒ์ธ๋ฐ, ๋‚จ์ด EDA ํ•ด๋†“์€ ๊ฒƒ์„ ๋ณด๋‹ˆ, ์ƒˆ๋กœ์šด ๋ฉ”์„œ๋“œ์™€ ์ธ์‚ฌ์ดํŠธ๊ฐ€ ๋ณด์—ฌ ๊ฐœ์ฒ™ํ•˜๋Š” ๋ง›๊ณผ๋Š” ๋‹ค๋ฅด๊ฒŒ ๋ฐฐ์šธ ์ˆ˜ ์žˆ์–ด์„œ ์ข‹์•˜๋‹ค.. 2023. 12. 12.