엔터프라이즈 LLM 서비스 구축기 1: 컨텍스트 엔지니어링

서론

본 글은 LY Corporation의 프라이빗 클라우드 플랫폼 Flava를 위한 AI 어시스턴트 구축 경험을 공유하는 시리즈의 첫 번째 글로, '컨텍스트 엔지니어링(context engineering)'의 중요성과 전략을 다룹니다. 단순한 정보 검색을 넘어 사용자의 상태를 인지하는 비서 역할을 수행하기 위해 방대한 사내 데이터와 API를 LLM에 효과적으로 통합하는 방법을 탐구합니다.

단순 검색기를 넘어선 '내 상태를 아는 비서'

• Flava AI 어시스턴트는 RAG(Retrieval-Augmented Generation) 방식을 넘어, 사용자의 권한으로 실제 API를 호출하여 리소스 상태를 파악하고 맞춤형 답변을 제공합니다.
• 예: 일반 RAG 챗봇은 "네트워크 상태 확인"을 권고하지만, Flava AI는 "VPC ACL이 열려 있지 않네요"와 같이 구체적인 진단과 해결책을 제시합니다.
• 27개 제품군, 260여개 API, 수백 페이지의 문서를 LLM에 통합하기 위한 '컨텍스트 엔지니어링'의 필요성을 강조합니다.

컨텍스트 엔지니어링의 중요성

성능 저하 요인

• 양(Quantity)의 문제: 컨텍스트 길이가 길어질수록 LLM의 성능이 저하됩니다 (최대 85%까지). Context Length Alone Hurts LLM Performance Despite Perfect Retrieval 논문 및 Databricks 연구 결과 인용.
• 질(Quality)의 문제: 노이즈(유사하지만 관련 없는 정보)가 섞이면 LLM의 판단력이 흐려지고 환각(hallucination) 발생률이 증가합니다. Context Rot 연구 리포트 인용.
• LLM의 Stateless 특성상 대화 맥락 유지를 위해 모든 정보를 반복 입력해야 하므로 토큰 소모가 빠릅니다.

Flava AI 어시스턴트의 '점진적 공개' 전략

• 질문 분석 및 도구 선별: 사용자 질문을 분석하여 260개 API 중 필요한 도구만 선택적으로 로드합니다.
• 필요한 사용법 제공: 특정 도구 사용에 필요한 매뉴얼이나 힌트만 선별하여 제공합니다.
• 응답 가이드라인 및 '모의 도구 메시지(ToolMessage)' 전략: 시스템 프롬프트와 분리하여 조건부로 주입되는 '응답 가이드라인'을 LLM이 참고 정보로 활용하도록 '모의 도구 메시지' 형태로 제공하여 프롬프트 충돌 문제를 해결합니다.
• API 응답 재구성: API 호출 후 반환된 JSON 응답에 YAML 형식의 스키마와 설명을 추가하여 LLM이 데이터 의미를 정확히 파악하도록 지원합니다.

결론

컨텍스트 엔지니어링은 '노이즈를 줄이고 신호(signal)만 남기는 기술'입니다. 대규모 LLM 서비스 구축 시, 필요한 정보를 선별하여 제공하는 '점진적 공개' 전략과 '모의 도구 메시지' 활용이 핵심입니다.