Karrot의 Generative AI Platform 구축 경험

배경

• 2024년 초 LLM 도입 시작 후 1년 반 만에 수백 개의 GenAI 사용 사례 확보.
• GenAI 채택 확산 과정에서 발생한 도전 과제 해결을 위한 플랫폼 구축 경험 공유.

플랫폼 개요

• LLM Router: 다양한 LLM API 호출을 통합 관리하는 게이트웨이.
• Prompt Studio: 코딩 없이 AI 기능 개발 및 실험, 평가, 배포를 지원하는 웹 기반 플랫폼.
• KarrotChat: 구축된 Agent 및 모델과 상호작용하는 내부 Agent 플랫폼.

LLM Router

• 문제점: API 키 및 계정 관리의 복잡성, 속도 제한 불균형, 비용 가시성 파편화.
• 해결책: 단일 API 게이트웨이를 통해 모든 AI API 호출을 통합.
• 주요 이점: 프로비저닝 오버헤드 제거, 중앙 집중식 운영, 통합된 비용 가시성 확보.
• 기능: OpenAI 인터페이스 표준화로 다양한 모델 지원, Provider별 내부 번역.

Prompt Studio

• 문제점: AI 기능 구현 시 엔지니어링 지원 필요, 반복 실험의 병목.
• 해결책: 코딩 없이 PM 등 비엔지니어링 직군도 AI 기능 개발 및 테스트 가능.
• 주요 기능: 모델 비교, 배치 평가, 간편한 배포 및 버전 관리.
• 안정성 확보: Retry, Region Fallback, Model Fallback, Circuit Breaker 기능 제공.
• 확장성: 텍스트 생성 넘어 이미지, 비디오 등 다양한 생성 모델 지원.
• Agent 지원: MCP(Model Context Protocol) Hub 및 Agent Builder를 통한 Agent 개발 및 배포.

KarrotChat

• 기능: Prompt Studio에서 구축된 Agent 및 모델과 상호작용.
• 활용 사례: DANA(Data Analysis Agent)를 통한 BigQuery 데이터 분석 자동화.
• 기대 효과: 데이터 분석 전문 지식 없이도 데이터 기반 의사결정 지원, 생산성 향상.

결론

• Karrot은 자율성, 빠른 실험, 투명한 지식 공유라는 핵심 가치를 바탕으로 GenAI 플랫폼을 구축.
• 복잡한 AI 모델 및 Agent 개발/운영을 위한 통합 환경 제공, 전사적 AI 채택 가속화.