AI Platform Engineer (Serving)
Seoul Β· Posted 4MO AGO
πμ§λ¬΄ μΈν°λ·°λ§ λ΄λ 100λ§μ, ν¨κ»ν νμ μ§μ λ§λλ³΄κ³ κ²°μ νμΈμ!
- 10μ 8μΌ(λͺ©)λΆν° 25μΌ(κΈ)μ μ§μνμλ λΆλ€μκ²λ§ ν΄λΉλλ νΉλ³ μ νμ΄μμ. ν©κ²© μ¬λΆμ μκ΄μμ΄ μ§λ¬΄ μΈν°λ·°μ μ°Έμ¬νμλ©΄ 100λ§μμ λ°μμ. (μ μΈκ³΅κ³ΌκΈ λ³ΈμΈ λΆλ΄)
- μ΄ 7κ°μ μ§κ΅°, 40μ¬κ°μ ν¬μ§μ
μμ μ±μ©μ μ§ννκ³ μμ΄μ. (https://toss.im/career/event/ai-ml-data-2026)
- μ§μνμ ν¬μ§μ
λ³΄λ€ λ μ λ§λ ν¬μ§μ
μ΄ μλ€λ©΄ μ ν¬κ° λ¨Όμ μ μλλ €μ. λ€λ₯Έ μ§λ¬΄λ‘ λ³κ²½νμ¬ μΈν°λ·°λ₯Ό μ§ννμ
λ 100λ§μμ λμΌνκ² μ§κΈλΌμ.
# ν©λ₯νκ² λ νμ λν΄ μλ €λλ €μ
- AI Platform νμ "AI κΈ°μ μ λꡬλ λΉ λ₯΄κ³ μμ μ μΌλ‘ μ¬μ©ν μ μλ νλ«νΌμΌλ‘ λ§λ λ€"λ λ―Έμ
μ κ°μ§κ³ , ν μ€ μ λ°μ AI νμ©μ κΈ°μ μ μΌλ‘ μ§μνκ³ μμ΄μ.
- Retrieval-Augmented Generation, Agent, Assistant λ± μλ‘μ΄ λ°©μμ AI μμ€ν
μ΄ λΉ λ₯΄κ² μ€νλκ³ μμ μ μΌλ‘ μ΄μλ μ μλλ‘, νμν λꡬμ νλ«νΌμ λ§λ€κ³ μμ΄μ.
- μ°λ¦¬κ° λ§λλ νλ«νΌμ λ¨μν ν΄μ
μ΄ μλλΌ, AI κΈ°μ μ΄ λ λ§μ νμμ μ€μ λ‘ μ°μΌ μ μκ² νμ₯μ±μ κ°μΆ κ΅¬μ‘°λ‘ μ€κ³λΌμ.
- μμ§ μ λ΅μ΄ μ ν΄μ§μ§ μμ λ¬Έμ λ€μ λ€λ£¨λ λ§νΌ, κΈ°μ μ μΈ λ°©ν₯μ ν¨κ» κ³ λ―Όνκ³ κ΅¬μ‘°νν΄λκ°λ μν μ΄ μ€μν΄μ.
- **ν μ€ λ°μ΄ν° μ‘°μ§μ λν΄ λ μμλ³΄κ³ μΆλ€λ©΄?** [β *ν μ€ Data Division μν€*](https://recruit-data-division.oopy.io/)
# ν©λ₯νλ©΄ ν¨κ» ν μ
무μμ
- λ€μν μλΉ νλ μμν¬(vLLM, Dynamo, Triton λ±)λ₯Ό μ΄μνκ³ μ±λ₯μ κ°μ ν΄μ.
- λκ·λͺ¨ LLM λ° embedding λͺ¨λΈμ μμ μ μΈ μ€μκ° μλΉ νκ²½μ ꡬμΆνκ³ λͺ¨λν°λ§ν΄μ.
- 리μμ€ ν¨μ¨μ±, μΆλ‘ μλ, νμ₯μ±μ κ³ λ €ν΄ μμ€ν
μ±λ₯μ μ§μμ μΌλ‘ κ°μ ν΄μ.
- λͺ¨λΈ μλΉ μ₯μ λμ, λ°°ν¬ μμ μ± ν보λ₯Ό μν μ€μΌμ€νΈλ μ΄μ
λ° μλν μμ
μ ν¨κ»ν΄μ.
# μ΄λ° λΆκ³Ό ν¨κ»νκ³ μΆμ΄μ
- vLLM, SGLang λ± μλΉ νλ μμν¬μ μ»΄ν¬λνΈλ₯Ό μ°λν΄ μ±λ₯μ΄λ μ΄μ λ°©μμ κ°μ ν΄ λ³Έ λΆκ³Ό ν¨κ»νκ³ μΆμ΄μ. LLM μλΉ κ²½νμ΄ μλλλΌλ Triton Inference Server, TensorRT λ±μΌλ‘ μΆμ²Β·λΉμ λͺ¨λΈμ μλΉ μμ€ν
μ κΉμ΄ μκ² λ€λ€λ³Έ κ²½νμ΄ μλ€λ©΄ μ’μμ
- 컀λ λ 벨μ κ°λ° κ²½νμ΄ μλλΌλ, GPUμ λͺ¨λΈμ κΈ°λ³Έμ μΈ λμ λ°©μμ μ΄ν΄νκ³ μ΄λ₯Ό λ°νμΌλ‘ λ¬Έμ λ₯Ό λΆμν μ μλ λΆκ³Ό ν¨κ»νκ³ μΆμ΄μ
- μ€ν λ° μ΄μ ν¨μ¨νλ₯Ό μν μλν, λͺ¨λν°λ§, μ€μΌμ€νΈλ μ΄μ
μ κ΄μ¬μ΄ μλ λΆκ³Ό ν¨κ»νκ³ μΆμ΄μ
- μ μ§λ³΄μνκΈ° μ’μ μ½λλ₯Ό μμ±νκ³ , μ κ·Ήμ μΈ μ½λ λ¦¬λ·°λ‘ μ½λ νμ§μ λμ¬μ¨ λΆκ³Ό ν¨κ»νκ³ μΆμ΄μ
- ꡬ쑰νλμ§ μμ λ¬Έμ λ₯Ό κΈ°μ μ μΌλ‘ μ μνκ³ , μμ€ν
μ μΌλ‘ ν΄κ²°ν΄λ³Έ λΆμ΄λ©΄ μ’μμ
- μλ‘μ΄ κΈ°μ νλ¦μ λΉ λ₯΄κ² λ°λΌκ°κ³ , κ·Έ νλ¦μ ν λ΄μ μμ°μ€λ½κ² λ
Ήμ¬λΈ κ²½νμ΄ μλ€λ©΄ μ’μμ
# μ΄λ° λΆμ΄λ©΄ λ μ’μμ
- λκ·λͺ¨ LLM λλ embedding λͺ¨λΈμ νμ΅/μλΉ νκ²½μ μ΅μ ννκ³ μ΄μν΄ λ³Έ κ²½νμ΄ μμΌμ λΆμ΄λ©΄ λμ± μ λ§μμ.
- LLMμ μ΅μ ννμ¬ μλΉμ€μ νμ©ν μ μκ² μ±λ₯μ μ΄λμ΄λΈ λΆμ΄λ©΄ νμν΄μ.
- AI/ML λͺ¨λΈλ€μ λν΄ μΌλ°ννμ¬ νλ«νΌμ ꡬμΆν΄λ³Έ κ²½νμ΄ μμΌμλ©΄ λμ± μ’μμ.
- κ³ μ±λ₯ μλΉ, λκ·λͺ¨ νΈλν½ νκ²½μμ λͺ¨λΈ μ΄μ κ²½νμ΄ μλ λΆμ΄λ©΄ AI Platform νμ λ°©ν₯κ³Ό μ λ§μ κ±°μμ.
- κΌ μλΉ λΆμΌκ° μλλλΌλ μ€νμμ€ κΈ°μ¬ λ±μ ν΅ν΄ μ€μν λ¬Έμ λ₯Ό ν΄κ²°νκ³ κ°μ ν΄ λ³Έ κ²½νμ΄ μλ€λ©΄ μ’μμ.
# μ΄λ ₯μλ μ΄λ κ² μμ±νμλ κ±Έ μΆμ²ν΄μ
- μ§ννλ κ³Όμ κ° μ‘°μ§μ ν° μν₯λ ₯μ λ―Έμ³€λ€λ©΄ κ·Έ λ΄μ©μ μμΈν μμ±ν΄ μ£ΌμΈμ.
- λ¨μν μ΄λ€ μΈμ΄, νλ«νΌ, νλ μμν¬, κΈ°μ λ±μ μ¬μ©νλμ§λ³΄λ€λ, μ΄λ€ λͺ©μ μ κ°μ§ κ³Όμ μλμ§, μ΄λ₯Ό ν΄κ²°νκΈ° μν΄ λ¬΄μμ μ¬μ©νλμ§, μ΄λ»κ² λ¬Έμ λ₯Ό ν΄κ²°νλμ§μ λν΄ μμΈν μμ±ν΄ μ£ΌμΈμ.
- νλ«νΌμ μ΄μνλ©΄μ λ°μν μΉλͺ
μ μΈ μ₯μ λ₯Ό ν΄κ²°ν΄ 보μκ±°λ, μ±λ₯/리μμ€ μ΅μ νλ₯Ό ν΄ λ³Έ κ²½νμ΄ μλ€λ©΄ μμ±ν΄ μ£ΌμΈμ.
- μ€νμμ€ μ¬μ© μ€μ λ°μν λ²κ·Έλ μ΄μλ₯Ό ν΄κ²°ν΄ 보μκ±°λ, λΆμ‘±ν κΈ°λ₯μ κ°μ νκΈ° μν΄ μ€νμμ€μ κΈ°μ¬νλ κ²½νμ΄ μλ€λ©΄ μμ±ν΄ μ£ΌμΈμ.
# ν μ€λ‘μ ν©λ₯μ¬μ
- μλ₯ μ μ > μ§λ¬΄ μΈν°λ·° > λ¬Ένμ ν©μ± μΈν°λ·° > λ νΌλ°μ€ μ²΄ν¬ > μ²μ° νμ > μ΅μ’
ν©κ²©
- μ§λ¬΄ μΈν°λ·°μμλ μ¬μΈ΅ κΈ°μ λ©΄μ κ³Ό ML μμ€ν
μ€κ³λ₯Ό μ£Όμ λ‘ λ©΄μ μ΄ μ§νλ μμ μ΄μμ.
# ν¨κ»ν λλ£λ₯Ό μν νλ§λ
> "λΉ λ₯΄κ² λ°μ νκ³ μλ AI λͺ¨λΈλ€μ μλΉνλ κ²μ κ·ΈμΉμ§ μκ³ , κ·Έ λͺ¨λΈμ΄ μμ μ μΌλ‘ μλνκ³ λμμμ΄ κ°μ λ μ μλ μμ€ν
μ μ§μ λ§λ€μ΄κ°λλ€."
- AI Platform νμ LLM κΈ°λ° μλΉμ€, RAG μμ€ν
, κ²μ μΈνλΌ λ± λ€μν AI κΈ°μ μ΄ μ€μ νλ‘λμ
νκ²½μμ μνν λμν μ μλλ‘ μλΉ/μ€ν/μ΄μ μΈνλΌλ₯Ό μ±
μμ§κ³ μμ΄μ.
- GPU μμκ³Ό ν΄λ¬μ€ν°λ₯Ό ν¨μ¨μ μΌλ‘ μ΄μνκ³ , vLLM, Triton, Model Registry λ±μ νμ©ν΄ μ€νκ³Ό λ°°ν¬λ₯Ό μλννκ³ μμ΄μ.
- AI κΈ°μ μ΄ μ€μ§μ μΈ μλΉμ€λ‘ μ΄μ΄μ§κΈ° μν΄ νμν κΈ°μ μ κΈ°λ°μ ꡬμΆνκ³ , μμ μ±κ³Ό νμ₯μ±μ ν¨κ» κ³ λ―Όνλ λΆμ κΈ°λ€λ¦¬κ³ μμ΄μ.
- μ€νλΆν° μλΉκΉμ§μ νλ¦μ μ§μ λ§λ€κ³ κ³ λνν΄ λκ°λ κ²½ν, ν μ€μμ ν μ μμ΅λλ€.