토스｜AI Engineer (Serving)

토스 Affiliation

정규직

합류하게 될 팀에 대해 알려드려요

• AI Platform 팀은 “AI 기술을 누구나 빠르고 안정적으로 사용할 수 있는 플랫폼으로 만든다”는 미션을 가지고, 토스 전반의 AI 활용을 기술적으로 지원하고 있어요.
• Retrieval-Augmented Generation, Agent, Assistant 등 새로운 방식의 AI 시스템이 빠르게 실험되고 안정적으로 운영될 수 있도록, 필요한 도구와 플랫폼을 만들고 있어요.
• 우리가 만드는 플랫폼은 단순한 툴셋이 아니라, AI 기술이 더 많은 팀에서 실제로 쓰일 수 있게 확장성을 갖춘 구조로 설계돼요.
• 아직 정답이 정해지지 않은 문제들을 다루는 만큼, 기술적인 방향을 함께 고민하고 구조화해나가는 역할이 중요해요.
• 토스 데이터 조직에 대해 더 알아보고 싶다면? → 토스 Data Division 위키

합류하면 함께 할 업무에요

• 다양한 서빙 프레임워크(vLLM, Dynamo, Triton 등)를 운영하고 성능을 개선해요.
• 대규모 LLM 및 embedding 모델의 안정적인 실시간 서빙 환경을 구축하고 모니터링해요.
• 리소스 효율성, 추론 속도, 확장성을 고려해 시스템 성능을 지속적으로 개선해요.
• 모델 서빙 장애 대응, 배포 안정성 확보를 위한 오케스트레이션 및 자동화 작업을 함께해요.

이런 분과 함께하고 싶어요

• Triton, vLLM 등 서빙 프레임워크에 익숙하고 성능 튜닝 및 운영 안정성 확보 경험이 있는 분과 함께하고 싶어요
• GPU 내부에서의 동작 방식와 LLM 모델들 내부에서의 동작 방식에 대한 이해와 실전 운영 경험이 있는 분과 함께하고 싶어요
• 실험 및 운영 효율화를 위한 자동화, 모니터링, 오케스트레이션에 관심이 있는 분과 함께하고 싶어요
• 구조화되지 않은 문제를 기술적으로 정의하고, 시스템적으로 해결해본 분이면 좋아요
• 새로운 기술 흐름을 빠르게 따라가고, 그 흐름을 팀 내에 자연스럽게 녹여낸 경험이 있다면 좋아요

이런 분이면 더 좋아요

• 대규모 LLM 또는 embedding 모델 학습/서빙을 위한 최적화하고 운영한 경험이 있으신 분이면 더욱 잘 맞아요.
• LLM 모델들을 최적화하여 서비스에 활용할 수 있게 성능을 이끌어낸 분이면 환영해요.
• AI/ML 모델들에 대해 일반화하여 플랫폼을 구축해본 경험이 있으시면 더욱 좋아요.
• 고성능 서빙, 대규모 트래픽 환경에서 모델 운영 경험이 있는 분이면 AI Platform 팀의 방향과 잘 맞을 거예요.- 대규모 LLM 또는 embedding 모델 학습/서빙을 위한 최적화하고 운영한 경험이 있으신 분이면 더욱 잘 맞아요.
• LLM 모델들을 최적화하여 서비스에 활용할 수 있게 성능을 이끌어낸 분이면 환영해요.
• AI/ML 모델들에 대해 일반화하여 플랫폼을 구축해본 경험이 있으시면 더욱 좋아요.
• 고성능 서빙, 대규모 트래픽 환경에서 모델 운영 경험이 있는 분이면 AI Platform 팀의 방향과 잘 맞을 거예요.

이력서는 이렇게 작성하시는 걸 추천해요

• 진행했던 과제가 조직에 큰 영향력을 미쳤다면 그 내용을 자세히 작성해 주세요.
• 단순히 어떤 언어, 플랫폼, 프레임워크, 기술 등을 사용했는지보다는, 어떤 목적을 가진 과제였는지, 이를 해결하기 위해 무엇을 사용했는지, 어떻게 문제를 해결했는지에 대해 자세히 작성해 주세요.
• 플랫폼을 운영하면서 발생한 치명적인 장애를 해결해 보았거나, 성능/리소스 최적화를 해 본 경험이 있다면 작성해 주세요.
• 오픈소스 사용 중에 발생한 버그나 이슈를 해결해 보았거나, 부족한 기능을 개선하기 위해 오픈소스에 기여했던 경험이 있다면 작성해 주세요.

토스로의 합류여정

• 서류 접수 > 직무 인터뷰 > 문화적합성 인터뷰 > 레퍼런스 체크 > 처우 협의 > 최종 합격
• 직무 인터뷰에서는 심층 기술 면접과 ML 시스템 설계를 주제로 면접이 진행될 예정이에요.

함께할 동료를 위한 한마디

“빠르게 발전하고 있는 AI 모델들을 서빙하는 것에 그치지 않고, 그 모델이 안정적으로 작동하고 끊임없이 개선될 수 있는 시스템을 직접 만들어갑니다.”

• AI Platform 팀은 LLM 기반 서비스, RAG 시스템, 검색 인프라 등 다양한 AI 기술이 실제 프로덕션 환경에서 원활히 동작할 수 있도록 서빙/실험/운영 인프라를 책임지고 있어요.
• GPU 자원과 클러스터를 효율적으로 운영하고, vLLM, Triton, Model Registry 등을 활용해 실험과 배포를 자동화하고 있어요.
• AI 기술이 실질적인 서비스로 이어지기 위해 필요한 기술적 기반을 구축하고, 안정성과 확장성을 함께 고민하는 분을 기다리고 있어요.
• 실험부터 서빙까지의 흐름을 직접 만들고 고도화해 나가는 경험, 토스에서 할 수 있습니다.

지원하러 가기