Daangn Pay FDS의 진화: 규칙 엔진에서 AI 기반 시스템까지

Daangn Pay FDS 핵심 동작 방식 및 구조

• FDS (Fraud Detection System)는 부정거래 탐지 시스템으로, 중고거래 사기, 보이스피싱 등 다양한 금융 사기 활동을 실시간으로 탐지하고 차단합니다.
• 시스템의 유연성 확보를 위해 **규칙 엔진(Rule Engine)**을 핵심 구성 요소로 도입하여 탐지 로직을 동적으로 확장 및 조합할 수 있습니다.
• 규칙 엔진은 **조건(Conditions), 규칙(Rules), 정책(Policies)**의 계층적 구조로 구성되어, 특정 임계값(threshold) 및 복합적인 조건 조합을 통해 의심스러운 패턴을 식별합니다.
• 이벤트 유입은 동기(Synchronous) API (즉각적인 차단 결정)와 비동기(Asynchronous) 스트림 (대용량 이벤트 처리) 두 가지 경로로 분리되어 목적에 맞게 처리됩니다.
• 위험 평가는 규칙 엔진을 통해 정책 → 규칙 → 조건 순으로 진행되며, 완료 후에는 LLM 평가, 알림(Alerts), 제재(Sanctions) 등의 후처리 단계를 거칩니다.

AI 기반 FDS로의 발전: LLM 및 RAG 도입

• FDS 검토의 신속성과 일관성을 높이기 위해 LLM(Large Language Model) 도입을 결정했으며, 금융 규제 준수를 위해 혁신금융서비스 지정을 획득했습니다.
• 초기에는 Prompt + Converse API 방식을 사용하여 BigQuery의 사기 이력 데이터를 Redis Cache에 저장하고, 탐지된 이벤트를 바탕으로 프롬프트를 구성하여 Bedrock 모델에 전송했습니다.
• LLM 성능 저하 문제를 해결하기 위해 **RAG (Retrieval-Augmented Generation)**를 도입, 현재 거래와 유사한 사기 이력을 검색하여 LLM에 제공함으로써 탐지 정확도를 높였습니다.
• RAG 구현에는 AWS Bedrock Knowledge Bases를 활용했으며, OpenSearch Serverless를 벡터 데이터베이스로, S3를 사기 이력 데이터 소스로 사용했습니다.
• Knowledge Base 청킹(chunking) 문제 해결을 위해 각 사기 기록을 개별 JSON 파일로 저장하고 ChunkingStrategy = NONE을 적용하여 데이터 손실을 방지했습니다.

RAG 적용 방법론 및 향후 개선 방향

• RAG 적용은 Retrieve-and-Generate 방식에서 발생한 출력 형식 불안정성 및 통제 부족 문제를 해결하기 위해 Retrieve + Prompt + ConverseAPI 파이프라인으로 최종 구현했습니다.
• 이 방식은 검색된 문서 내용과 메타데이터를 명시적으로 확인하고, 검색 로직 및 프롬프트 구성을 완전히 제어할 수 있는 이점을 제공합니다.
• 향후 FDS 개선 방향으로는 LLM 호출 전 **가드레일(Guardrails)**을 추가하여 안전성을 강화하고, True Positive 및 False Positive 탐지 데이터를 임베딩하여 LLM 기반 탐지 정확도를 더욱 향상시킬 계획입니다.
• AI 기반 FDS는 사용자의 안전한 금융 서비스 이용을 보장하기 위해 지속적으로 발전할 것입니다.