당근페이 FDS 진화: 룰엔진 구축부터 AI 기반 시스템까지

1. FDS 룰엔진 아키텍처 및 초기 운영

• 당근페이 **FDS (Fraud Detection System)**는 이상거래를 탐지하여 고객 자산을 보호하며, 룰엔진 기반으로 유연한 탐지 로직을 구현했습니다.
• 룰엔진은 조건, 규칙, 정책으로 구성되며, 동기 API와 비동기 Stream 두 경로로 유입되는 이벤트를 처리합니다.
• 위험 평가는 룰엔진을 통해 이루어지며, 평가 후 LLM 평가, 알람 및 제재 처리 단계를 거쳐 최종 대응합니다.

2. LLM 및 RAG 도입으로 FDS 고도화

• 수동 검토의 비효율성 해결을 위해 **LLM (Large Language Model)**을 도입, AWS Bedrock의 Claude Sonnet 3.5를 활용했습니다.
• 초기 Prompt + ConverseAPI 방식에서, 최근 사기 패턴의 연관성 한계로 RAG (Retrieval Augmented Generation) 시스템 도입의 필요성을 느꼈습니다.
• RAG는 AWS Bedrock Knowledge Base, OpenSearch Serverless (Vector DB), **S3 (Data Source)**로 구성되어 유사 사기 정보를 검색하여 LLM 평가에 활용합니다.

3. RAG 구현 시 주요 교훈 및 향후 과제

• Chunking 문제 해결을 위해 각 사기 이력을 개별 JSON 파일로 분리 임베딩하고, Retrieve + ConverseAPI 방식을 최종 채택했습니다.
• RetrieveAndGenerate 방식의 불안정성을 개선하며, 검색 결과에 대한 명시적 제어를 확보했습니다.
• 향후 AI 모델의 안전한 입출력을 위한 가드레일 추가와 정탐/오탐 데이터 임베딩을 통한 정확도 향상을 목표로 합니다.