LangChain 기반 지능형 CS 자동화 시스템 도입 사례

LangChain 기반 CS 자동화 시스템 개요 및 배경

• 29CM 세일프라이싱팀은 반복적인 CS 업무로 인한 개발 생산성 병목 현상에 직면했습니다.
• 건당 30분 이상 소요되던 CS 처리가 스프린트당 8시간 이상의 리소스를 소모했습니다.
• 단순 RPA의 한계를 인지하고, 문맥 이해 기반의 지능형 자동화 필요성이 대두되었습니다.
• LangChain은 LLM을 애플리케이션에 통합하고 RAG(검색 증강 생성) 기법을 통해 내부 문서와 연동, Spring 시스템과의 호환성으로 채택되었습니다.

자동화된 CS 처리 워크플로우

• 기존에는 Jira 티켓 등록, 수동 API 탐색 및 실행 등 평균 30분 이상의 수작업 과정이 필요했습니다.
• 자동화 후, 사용자가 Slack에 자연어 요청을 하면 AI Bot이 이를 수신하고 분석합니다.
• LangChain 기반 RAG 검색을 통해 Confluence 내 관련 내부 API 문서를 탐색하고, LLM이 필요한 파라미터를 추론합니다.
• API 실행 전, 사용자 승인 절차를 거쳐 API 설명, 추론된 파라미터, 예상 실행 결과를 제공합니다.
• 승인 시 API가 실행되고 결과가 응답되며, 이 모든 과정은 3분 이내로 단축됩니다.

시스템의 신뢰성 및 안정성 확보 방안

• 사용자 승인 기반의 안전 장치: API 실행 전 어떤 API를 어떤 파라미터로 호출할지, 예상 변경 결과를 제공하여 승인/반려를 결정하게 합니다.
• 권한 제어 및 감사 로깅: 정의된 그룹/역할 기반 권한 검사를 통해 API 호출을 제한합니다.
• 영구적인 실행 기록 보존: Slack 메시지, API 응답, LLM 추론 결과 등을 포함한 상세 감사 로그를 기록하여 신뢰성을 높입니다.

자동화 도입의 성과 및 향후 계획

• 개발팀의 KTLO(Keep the lights on) 비중이 전년 대비 50% 감소했습니다.
• CS 요청 처리 시간이 평균 1분 이내로 단축되어 요청자의 업무 몰입도와 만족도가 향상되었습니다.
• 개발자의 단순 CS 업무 수동 개입 시간이 0분으로 줄어 전략적 업무에 집중할 수 있게 되었습니다.
• Wiki 문서 수정만으로 새로운 시나리오 추가 및 로직 변경이 가능하여 코드 배포 없는 기능 확장이 가능합니다.
• 향후 더 많은 업무 시나리오에 AI 시스템을 확장하고, 안정적인 확장 및 신뢰성 확보에 집중할 계획입니다.