당근의 GenAI 플랫폼: LLM Router, Prompt Studio, KarrotChat 구축 과정

GenAI 플랫폼 개요

비전: 'AI 활용에 가장 앞선 당근'을 목표로 제품 팀의 AI 활용 지원.
플랫폼 구성: LLM Router, Prompt Studio, KarrotChat 세 가지 핵심 플랫폼을 중심으로 GenAI 활용 지원.

문제점: 초기 LLM 도입 시 계정 관리 복잡성, Rate Limit 병목, 비용 파악 어려움 발생.
해결 방안: 모든 API 호출을 하나의 관문으로 통합 관리하는 AI Gateway(LLM Router) 도입.
주요 기능: 계정/API 키 통합 관리, 사용량 제한 모니터링 및 조정, 비용 추적 용이성 확보.
표준 인터페이스: OpenAI 인터페이스를 표준으로 삼아 다양한 모델(OpenAI, Google, Anthropic, vLLM 서빙 모델)을 단일 인터페이스로 지원.

문제점: AI 기능 개발 시마다 코드 수정 및 엔지니어 의존성 발생.
해결 방안: 웹 기반 AI 플랫폼 Prompt Studio 구축으로 누구나 코드 없이 AI 기능 개발 및 테스트 가능.
주요 기능: 프롬프트 입력/수정, 모델 비교 테스트, 수백/수천 개 테스트셋 기반 Evaluation, Prompt Studio API 연동을 통한 즉시 배포, 버전 관리.
안정성 확보: Retry, Region Fallback, Model Fallback, Model Circuit Breaker 등 다단계 안전 장치 제공.
멀티모달 지원: 텍스트 생성 외 이미지, 비디오 생성 모델(GPT-Image, Sora, NanoBanana 등) 지원.
Agent 생태계: MCP 허브, Agent 생성 기능 제공으로 AI Agent 개발 및 활용 지원.