Toss

ML Engineer (OCR)

Seoul ยท Posted 4H AGO

#๐Ÿ“์ง๋ฌด ์ธํ„ฐ๋ทฐ๋งŒ ๋ด๋„ 100๋งŒ์›, ํ•จ๊ป˜ํ•  ํŒ€์„ ์ง์ ‘ ๋งŒ๋‚˜๋ณด๊ณ  ๊ฒฐ์ •ํ•˜์„ธ์š”!
- 10์›” 8์ผ(๋ชฉ)๋ถ€ํ„ฐ 25์ผ(๊ธˆ)์— ์ง€์›ํ•˜์‹œ๋Š” ๋ถ„๋“ค์—๊ฒŒ๋งŒ ํ•ด๋‹น๋˜๋Š” ํŠน๋ณ„ ์ „ํ˜•์ด์—์š”. ํ•ฉ๊ฒฉ ์—ฌ๋ถ€์™€ ์ƒ๊ด€์—†์ด ์ง๋ฌด ์ธํ„ฐ๋ทฐ์— ์ฐธ์—ฌํ•˜์‹œ๋ฉด 100๋งŒ์›์„ ๋ฐ›์•„์š”. (์ œ์„ธ๊ณต๊ณผ๊ธˆ ๋ณธ์ธ ๋ถ€๋‹ด)
- ์ด 7๊ฐœ์˜ ์ง๊ตฐ, 40์—ฌ๊ฐœ์˜ ํฌ์ง€์…˜์—์„œ ์ฑ„์šฉ์„ ์ง„ํ–‰ํ•˜๊ณ  ์žˆ์–ด์š”. [**ํ•œ๋ˆˆ์— ๋ณด๊ธฐ**](https://toss.im/career/event/ai-ml-data-2026)
- ์ง€์›ํ•˜์‹  ํฌ์ง€์…˜๋ณด๋‹ค ๋” ์ž˜ ๋งž๋Š” ํฌ์ง€์…˜์ด ์žˆ๋‹ค๋ฉด ์ €ํฌ๊ฐ€ ๋จผ์ € ์ œ์•ˆ๋“œ๋ ค์š”. ๋‹ค๋ฅธ ์ง๋ฌด๋กœ ๋ณ€๊ฒฝํ•˜์—ฌ ์ธํ„ฐ๋ทฐ๋ฅผ ์ง„ํ–‰ํ•˜์…”๋„ 100๋งŒ์›์€ ๋™์ผํ•˜๊ฒŒ ์ง€๊ธ‰๋ผ์š”.

# ํ•ฉ๋ฅ˜ํ•˜๊ฒŒ ๋  ํŒ€์— ๋Œ€ํ•ด ์•Œ๋ ค๋“œ๋ ค์š”
- ML Engineer (OCR ยท Document AI)๋Š” Vision Service Team์— ์†ํ•˜์—ฌ, Vision ML Engineer, MLOps Engineer, ์„œ๋ฒ„ ๊ฐœ๋ฐœ์ž์™€ ํ•จ๊ป˜ ์ผํ•ด์š”.
- Vision Service Team์€ Document AI, ์‹ ๋ถ„์ฆ ์ง„์œ„ํ™•์ธ(eKYC), Generative AI, General Vision ๋“ฑ ํ† ์Šค์˜ ๋ชจ๋“  Vision ๊ธฐ์ˆ ์„ ์ž์ฒด ๊ฐœ๋ฐœํ•˜๊ณ , ํ†ตํ•ฉ API ํ”Œ๋žซํผ์œผ๋กœ ์ „์‚ฌ์— ์ œ๊ณตํ•˜๋Š” Vision ์ „๋ฌธ ์กฐ์ง์ด์—์š”.
- ๋‹ค์–‘ํ•œ ์–ธ์–ด๋ฅผ ์ง€์›ํ•˜๋Š” Document AI ๊ธฐ๋Šฅ์„ ๊ฐœ๋ฐœํ•˜๊ณ  ์žˆ์–ด์š”. ๊ตญ๊ฐ€๋ณ„ ์‹ ๋ถ„์ฆ๊ณผ ์ฆ๋น™ ์„œ๋ฅ˜์˜ ์–ธ์–ด ยท ์„œ์‹์— ์ผ๋ฐ˜ํ™”๋œ ๋‹ค๊ตญ์–ด OCR ยท KIE ยท ์ง„์œ„ํ™•์ธ ๋ชจ๋ธ์„ ์ž์ฒด ๊ธฐ์ˆ ๋กœ ํ™•๋ณดํ•˜๊ณ , ํŠน์ • ์–ธ์–ด์— ์ข…์†๋˜์ง€ ์•Š๋Š” ์ผ๋ฐ˜ํ™” ๋ชจ๋ธ๊ณผ ํ‘œ์ค€ ์˜จ๋ณด๋”ฉ ํŒŒ์ดํ”„๋ผ์ธ์„ ์ž์ฒด ๊ตฌ์ถ•ํ•˜๊ณ  ์žˆ์–ด์š”

# ํ•ฉ๋ฅ˜ํ•˜๋ฉด ํ•จ๊ป˜ ํ•  ์—…๋ฌด์—์š”
- Text Detection / Recognition, ๋ฌธ์„œ ๋ ˆ์ด์•„์›ƒ ๋ถ„์„, VLM ๊ธฐ๋ฐ˜ End-to-End OCR ๋ชจ๋ธ์„ ๊ฐœ๋ฐœํ•˜๊ณ  ๊ณ ๋„ํ™”ํ•ด์š”.
- ์‹ ๋ถ„์ฆ ยท ๊ณ„์•ฝ์„œ ยท ์ •๋ถ€ ๋ฌธ์„œ ๋“ฑ ๊ธˆ์œต ๋ฌธ์„œ์˜ ํ•ต์‹ฌ ์ •๋ณด ์ถ”์ถœ(KIE), ๋ฌธ์„œ ๋ถ„๋ฅ˜, ๋ฌธ์„œ ์ง„์œ„ํ™•์ธ(์œ„๋ณ€์กฐ ยท ์‚ฌ๋ณธ ํƒ์ง€), ์ง์ธ ์ผ์น˜ ํŒ๋‹จ ๋ชจ๋ธ์„ ๊ฐœ๋ฐœํ•ด์š”.
- ๊ธ€๋กœ๋ฒŒ eKYC๋ฅผ ์œ„ํ•ด ๊ตญ๊ฐ€๋ณ„ ํ•™์Šต ๋ฐ์ดํ„ฐ ์˜์กด๋„๋ฅผ ๋‚ฎ์ถ˜ ์ผ๋ฐ˜ํ™” ๋ชจ๋ธ(KIE ยท Quality Checker ยท Fraud Detection)์„ ์„ค๊ณ„ํ•˜๊ณ , ์žฌ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•œ ํ•™์Šต ยท ํ‰๊ฐ€ ยท ๋ฐฐํฌ ํŒŒ์ดํ”„๋ผ์ธ์„ ๋งŒ๋“ค์–ด์š”.
- OCR ยท Document AI ๋ฌธ์ œ๋ฅผ ์ •์˜ํ•˜๊ณ , ํ•ฉ์„ฑ ๋ฐ์ดํ„ฐ ์ƒ์„ฑ ยท ๋ผ๋ฒจ๋ง ์ „๋žต ยท ๊ฐœ์ธ์ •๋ณด ๋งˆ์Šคํ‚น ์ •์ฑ…์„ ํฌํ•จํ•œ ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘ ์ „๋žต์„ ์ˆ˜๋ฆฝํ•ด์š”.
- ํ† ์Šค ์ž์ฒด Document AI Benchmark๋ฅผ ๊ตฌ์ถ•ํ•˜๊ณ , ์‹ ๊ทœ ๋ชจ๋ธ๊ณผ VLM ๋ฆด๋ฆฌ์ฆˆ๋ฅผ ์ •ํ™•๋„ ยท ์†๋„ ยท ํ• ๋ฃจ์‹œ๋„ค์ด์…˜ ยท ๋น„์šฉ ๊ธฐ์ค€์œผ๋กœ ์ƒ์‹œ ํ‰๊ฐ€ํ•ด ๋ชจ๋ธ ๋„์ž…์„ ํŒ๋‹จํ•ด์š”.
- ํ•™์Šต-์„œ๋น™ ์ •ํ•ฉ์„ฑ์„ ๊ฒ€์ฆํ•˜๋ฉฐ GPU ์„œ๋น™(Triton) ํ™˜๊ฒฝ์— ๋ชจ๋ธ์„ ๋ฐฐํฌํ•˜๊ณ , ์šด์˜ ์ค‘์ธ ๋ชจ๋ธ์˜ ์„ฑ๋Šฅ ์ด์Šˆ ์›์ธ์„ ์‹ค๋ฐ์ดํ„ฐ๋กœ ํŒŒ์•…ํ•ด ๊ฐœ์„ ํ•ด์š”.

# ์ด๋Ÿฐ ๋ถ„๊ณผ ํ•จ๊ป˜ํ•˜๊ณ  ์‹ถ์–ด์š”
- OCR ๋˜๋Š” Document AI ๋ชจ๋ธ์„ ์‹ค์„œ๋น„์Šค์— ์ ์šฉํ•ด ๋ณธ ๊ฒฝํ—˜์ด ์žˆ๋Š” ๋ถ„์ด๋ฉด ์ข‹์•„์š”.
- Two-stage OCR(Detection + Recognition), End-to-End OCR, VLM ๊ธฐ๋ฐ˜ ๋ฌธ์„œ ์ดํ•ด ์ค‘ ํ•œ ๊ฐ€์ง€ ์ด์ƒ์„ ๊นŠ์ด ๋‹ค๋ค„ ๋ณด์…จ๊ณ , ๊ฐ ๋ฐฉ๋ฒ•๋ก ์˜ ์žฅ๋‹จ์ ์„ ์„ค๋ช…ํ•  ์ˆ˜ ์žˆ๋Š” ๋ถ„์ด๋ฉด ์ข‹์•„์š”.
- ๋น„๋Œ€๋ฉด ๋ณธ์ธํ™•์ธ(eKYC), ์‹ ๋ถ„์ฆ ์ง„์œ„ํ™•์ธ, ๋ฌธ์„œ ์œ„๋ณ€์กฐ ํƒ์ง€ ๊ฒฝํ—˜์ด ์žˆ์œผ๋ฉด ๋”์šฑ ์ข‹์•„์š”.
- Vision ๋ชจ๋ธ ๊ตฌ์กฐ์™€ Loss Function์„ ๋ฌธ์ œ์— ๋งž๊ฒŒ ์„ค๊ณ„ ยท ๋ณ€๊ฒฝํ•˜๊ณ , ๋ชฉํ‘œ ์„ฑ๋Šฅ๊นŒ์ง€ Deep Dive ํ•ด ๋ณธ ๋ถ„์ด๋ฉด ์ข‹์•„์š”.
- ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘ ยท ๋ผ๋ฒจ๋ง ยท ํ•ฉ์„ฑ ๋ฐ์ดํ„ฐ ์ƒ์„ฑ๋ถ€ํ„ฐ ํ•™์Šต, ์„œ๋น™, ์šด์˜ ๋ชจ๋‹ˆํ„ฐ๋ง๊นŒ์ง€ ๋ชจ๋ธ ์ƒ์• ์ฃผ๊ธฐ ์ „์ฒด๋ฅผ ์ฑ…์ž„์ ธ ๋ณธ ๋ถ„์ด๋ฉด ์ข‹์•„์š”.
- ์‹ ๋ถ„์ฆ ยท ๊ฐœ์ธ์ •๋ณด๋ฅผ ๋‹ค๋ฃจ๋Š” ๊ธˆ์œต ๋„๋ฉ”์ธ์˜ ๋ฐ์ดํ„ฐ๋ฅผ ์ดํ•ดํ•˜๊ณ , ๋งˆ์Šคํ‚น ยท ํŒŒ๊ธฐ ยท ์ ‘๊ทผ์ œ์–ด ์ •์ฑ…์„ ๊ธฐ์ˆ  ์„ค๊ณ„์˜ ์ œ์•ฝ์œผ๋กœ ๊ณ ๋ คํ• ์ˆ˜ ์žˆ์œผ๋ฉด ์ข‹์•„์š”.
- ๋ชจํ˜ธํ•œ ํ˜„์—… ์š”์ฒญ์„ ๋ชจ๋ธ ๋ฌธ์ œ๋กœ ์ •์˜ํ•˜๊ณ , ๊ฒฐ๊ณผ๋ฅผ ์ ˆ๊ฐ๋œ ๋น„์šฉ ยท ๋‹จ์ถ•๋œ ๋ฆฌ๋“œํƒ€์ž„ ๊ฐ™์€ ๋น„์ฆˆ๋‹ˆ์Šค ์ž„ํŒฉํŠธ๋กœ ์„ค๋ช…ํ•  ์ˆ˜ ์žˆ๋Š” ๋ถ„์ด๋ฉด ์ข‹์•„์š”.

# ์ด๋Ÿฐ ๊ฒฝํ—˜์ด ์žˆ์œผ๋ฉด ์ข‹์•„์š”.
- VLM(Vision Language Model)์„ ๋ฌธ์„œ ์ดํ•ด ยท ์ •๋ณด ์ถ”์ถœ์— ํŒŒ์ธํŠœ๋‹ํ•˜๊ฑฐ๋‚˜ ํ‰๊ฐ€ํ•ด ๋ณธ ๊ฒฝํ—˜์ด ์žˆ์œผ๋ฉด ์ข‹์•„์š”.
- ์™ธ๋ถ€ ์†”๋ฃจ์…˜์„ ์ž์ฒด ๋ชจ๋ธ๋กœ ๋Œ€์ฒดํ•ด ๋™๋“ฑ ์ด์ƒ์˜ ์„ฑ๋Šฅ์„ ํ™•๋ณดํ•ด ๋ณธ ๊ฒฝํ—˜์ด ์žˆ์œผ๋ฉด ์ข‹์•„์š”.
- ๋‹ค๊ตญ๊ฐ€ ยท ๋‹ค๋ฌธ์„œ ๋“ฑ ๋ถ„ํฌ๊ฐ€ ๋‹ค๋ฅธ ๋ฐ์ดํ„ฐ์—์„œ ์ผ๋ฐ˜ํ™” ์„ฑ๋Šฅ์„ ๋Œ์–ด์˜ฌ๋ฆฐ ๊ฒฝํ—˜์ด ์žˆ์œผ๋ฉด ์ข‹์•„์š”.
- Triton, TensorRT, ONNX ๋“ฑ์œผ๋กœ GPU ์„œ๋น™์„ ์ตœ์ ํ™”ํ•˜๊ฑฐ๋‚˜, ์–‘์žํ™” ยท ๊ฒฝ๋Ÿ‰ํ™”๋กœ ์ฒ˜๋ฆฌ๋Ÿ‰๊ณผ ๋น„์šฉ์„ ๊ฐœ์„ ํ•œ ๊ฒฝํ—˜์ด ์žˆ์œผ๋ฉด ์ข‹์•„์š”.
- ๋ชจ๋ธ ํ‰๊ฐ€ ๋ฒค์น˜๋งˆํฌ๋‚˜ ์ž๋™ํ™”๋œ ํ‰๊ฐ€ ํ•˜๋„ค์Šค๋ฅผ ์„ค๊ณ„ ยท ์šด์˜ํ•ด ๋ณธ ๊ฒฝํ—˜์ด ์žˆ์œผ๋ฉด ์ข‹์•„์š”.

# ์ด๋ ฅ์„œ๋Š” ์ด๋ ‡๊ฒŒ ์ž‘์„ฑํ•˜์‹œ๋Š” ๊ฑธ ์ถ”์ฒœํ•ด์š”
- ์ž„ํŒฉํŠธ ์žˆ์—ˆ๋˜ ์—…๋ฌด ๋˜๋Š” ํ”„๋กœ์ ํŠธ์˜ ๊ฒฐ๊ณผ๋ฅผ ์ •ํ™•๋„ ยท ์ฒ˜๋ฆฌ๋Ÿ‰ ยท ๋น„์šฉ ยท ๋ฆฌ๋“œํƒ€์ž„ ๋“ฑ ๊ตฌ์ฒด์ ์ธ ์ˆ˜์น˜๋กœ ์ž‘์„ฑํ•ด ์ฃผ์„ธ์š”.
- OCR ยท Document AI ๋ชจ๋ธ์„ ๊ฐœ๋ฐœํ•˜๋ฉด์„œ ๊ฒช์€ ๋ฌธ์ œ(๋ฐ์ดํ„ฐ ๋ถ€์กฑ, ๋„๋ฉ”์ธ ์ฐจ์ด, ์„œ๋น™ ์„ฑ๋Šฅ ์—ดํ™” ๋“ฑ)์™€ ๊ทธ ๋ฌธ์ œ๋ฅผ ์–ด๋–ป๊ฒŒ ํ•ด๊ฒฐํ–ˆ๋Š”์ง€ ๊ตฌ์ฒด์ ์œผ๋กœ ์ž‘์„ฑํ•ด ์ฃผ์„ธ์š”.
- ์ง์ ‘ ์„ค๊ณ„ํ•˜๊ฑฐ๋‚˜ ๋ณ€๊ฒฝํ•œ ๋ชจ๋ธ ๊ตฌ์กฐ์™€ ๊ทธ ์„ ํƒ์˜ ๊ทผ๊ฑฐ๋ฅผ ์ ์–ด ์ฃผ์‹œ๋ฉด ์ข‹์•„์š”.
- ๊ธฐ์ˆ ์ ์œผ๋กœ ์™ธ๋ถ€ ๊ณต๊ฐœ๊ฐ€ ๋ฏผ๊ฐํ•œ ์‚ฌํ•ญ์ผ ๊ฒฝ์šฐ, ํ•ด๋‹น ๋ถ€๋ถ„์€ ์ œ์™ธํ•ด ์ฃผ์„ธ์š”.

# ํ† ์Šค๋กœ์˜ ํ•ฉ๋ฅ˜์—ฌ์ •
- ์„œ๋ฅ˜ ์ ‘์ˆ˜ > ์ง๋ฌด ์ธํ„ฐ๋ทฐ > ๋ฌธํ™”์ ํ•ฉ์„ฑ ์ธํ„ฐ๋ทฐ > ๋ ˆํผ๋Ÿฐ์Šค ์ฒดํฌ > ์ฒ˜์šฐ ํ˜‘์˜ > ์ตœ์ข… ํ•ฉ๊ฒฉ
- ์ง๋ฌด ์ธํ„ฐ๋ทฐ์—์„œ๋Š” ์‹ฌ์ธต ๊ธฐ์ˆ  ๋ฉด์ ‘๊ณผ ML ์‹œ์Šคํ…œ ์„ค๊ณ„๋ฅผ ์ฃผ์ œ๋กœ ๋ฉด์ ‘์ด ์ง„ํ–‰๋  ์˜ˆ์ •์ด์—์š”.

# ํ•จ๊ป˜ํ•  ๋™๋ฃŒ๋ฅผ ์œ„ํ•œ ํ•œ๋งˆ๋””
> "ํ† ์Šค์˜ ๋ชจ๋“  ๋ฌธ์„œ์™€ ์‹ ๋ถ„์ฆ์„ ์šฐ๋ฆฌ ๊ธฐ์ˆ ๋กœ ์ฝ์–ด๋‚ด๊ณ , ๊ทธ ๊ธฐ์ˆ ์„ ์ „์‚ฌ์™€ ๊ธ€๋กœ๋ฒŒ ์‹œ์žฅ์œผ๋กœ ํ™•์žฅํ•˜๋Š” ์ผ์— ๊ฐ€์Šด์ด ๋›ฐ๋Š” ๋ถ„์ด๋ผ๋ฉด ํ•จ๊ป˜ ํ•˜๊ณ  ์‹ถ์Šต๋‹ˆ๋‹ค."
- ์™ธ๋ถ€ ์†”๋ฃจ์…˜์— ๊ธฐ๋Œ€์ง€ ์•Š๊ณ  ์ž์ฒด ๋ชจ๋ธ๋กœ ๊ธˆ์œต ์„œ๋น„์Šค์˜ ํ•ต์‹ฌ ๋ฌธ์ œ๋ฅผ ํ‘ธ๋Š” ๊ฒฝํ—˜์„ ํ•จ๊ป˜ ๋งŒ๋“ค์–ด๊ฐˆ ๋™๋ฃŒ๋ฅผ ๊ธฐ๋‹ค๋ฆฌ๊ณ  ์žˆ์–ด์š”.
- Document AI๋ฅผ ๋„˜์–ด eKYC, ์ƒ์„ฑํ˜• AI๊นŒ์ง€ ํ† ์Šค์˜ Vision ๋ฌธ์ œ๋ฅผ ํญ๋„“๊ฒŒ ํ’€์–ด๊ฐ€๊ณ  ์‹ถ์–ด์š”.