SSG.COM 사내 LLM Agent 개발 요약

1. 프로젝트 배경 및 LLM Agent의 필요성

• 기존 사내 검색 시스템의 한계: 키워드 기반으로 정보 탐색 비효율 및 보안 문제로 외부 LLM 서비스 활용 불가.
• 자연어 기반 대화형 인터페이스 도입 목표: 사용자의 질문 의도 이해 및 맥락 기반 정보 검색 솔루션.
• LLM Agent 개념 도입: 사용자의 요청을 바탕으로 스스로 계획하고 도구를 활용해 목표를 달성하는 지능형 개체.
• 주요 구성 요소: Agent(의사결정 주체), Tools(API, 계산기), Toolkits(도구 묶음), AgentExecutor(실행 컨트롤러), Memory(기억 관리).

2. 사내 문서 검색 Agent 아키텍처 및 구현

• 워크플로우 기반 아키텍처 채택: 미리 정의된 흐름에 따라 단계별 작업 수행, 주요 컴포넌트는 문서 검색 및 적절성 평가.
• Confluence API 활용: LLM을 통한 CQL 쿼리 생성 (few-shot), Evaluator-Optimizer 구조로 쿼리 정확도 개선.
• 문서 전처리 및 요약: 검색된 문서 본문을 LLM이 요약하고 질문과의 적합성 평가 후 에이전트 메모리에 저장.
• 기술적 최적화: TTFT 및 TPOT 분석을 통한 응답 속도 개선, 프롬프트 최적화, 모델 분기 처리, UX 로딩 시각화 적용.

3. 주요 Challenge 및 특화 Agent 개발

• 복잡한 문서 구조 전처리: Confluence의 테이블, 매크로, 태그 등을 LLM이 이해 가능한 마크다운 형태로 변환.
• 느린 응답 속도 문제: 출력 토큰 길이 최적화 및 모델 선택 분기를 통해 사용자 체감 대기 시간 단축.
• R&R (업무 분장) Agent: OCR을 통한 이미지 텍스트 추출, 하위 페이지 재귀 탐색, 표/자연어 혼합 분석으로 담당자 정보 제공.
• 사내 규정 Agent: 재귀 탐색, LLM 기반 PDF/이미지 요약, context 캐싱으로 신뢰도 높은 규정 답변 제공.

4. 향후 계획

• Microsoft Teams 연동: 채팅창 내 실시간 응답 및 카드 형태 정보 제공을 통한 접근성 및 통합성 강화.
• 워크플로우 → Agent 기반 진화: LLM의 자율적 도구 선택 및 다기능 조합을 통한 유연한 문제 해결 능력 향상.