45분 배치에서 준실시간으로! 다수 도메인 데이터를 Kafka로 통합한 전환기

1. 문제 상황 및 전환 배경

• 배치 시스템의 한계: 10년 이상 운영된 배치 기반 혜택 데이터 파이프라인은 최대 45분 지연으로 인해 고객 경험 저하 및 잘못된 정보 기반 구매 결정 야기.
• 복합적인 데이터 통합: 상품, 쿠폰, 증정, 프로모션 등 다수 도메인 데이터가 하나의 전시 화면으로 통합되어야 하는 복잡성.
• 프로시저 의존성의 문제: 10년 이상 누적된 단일 프로시저 내 비즈니스 로직 결합으로 인한 강결합, 낮은 테스트 용이성, 운영 리스크.
• 도메인별 데이터 생명주기 차이: 각 도메인의 데이터 제공 방식 및 실시간성 요구사항 상이로 인한 통합의 어려움.
• 레거시와의 안전한 전환: 전환 중 서비스 중단 없이 레거시와 새 파이프라인 간의 일관성 보장 및 대체 전략 필요.

2. 해결 전략: 하이브리드 접근 및 동시성 제어

• 데이터 특성 기반 처리 방식 분리: 이벤트 기반으로 제공되지 않는 데이터는 1차적으로 배치 기반 메시지 발행 구조 도입, 점진적 준실시간 전환.
• 배치-스트리밍 간 동시성 제어: Redis Pub/Sub을 활용하여 Kafka 일시 중지/재개 이벤트를 브로드캐스트, 다중 인스턴스 환경에서의 일관된 동시성 제어 구현.
• Pub/Sub 신호 유실 방지: Redis Pub/Sub과 함께 일정 주기 폴링을 통한 상태 확인, 타임아웃 내 중단 미확인 시 배치 수행 중단 및 알림.
• Aggregation Topic 도입: 상품 ID를 파티셔닝 키로 사용하여, 도메인 간 처리 순서 의존성 문제 해결 및 Kafka 파티션 내 순서 보장.
• 멱등성 보장: 최신 발행 타임스탬프 기준 필터링 및 UPSERT 처리로 중복 메시지 방지.

3. 데이터 정합성 검증 및 배포

• Shadow Table 전략: 실제 서비스 테이블 교체 전, 임시 테이블에 새 파이프라인 연동 후 기존 프로시저 결과와 비교 검증.
• 레거시 로직 검증: Shadow Table 운영을 통해 문서화되지 않은 레거시 로직의 결함 및 예외 케이스 발견 및 보완.
• 병행 운영 및 롤백: 최대 3주간 병행 운영, 올영세일 등 최대 트래픽 구간 검증 후 전환 결정. 문제 발생 시 즉시 롤백 가능한 시나리오 준비.

4. 결과 및 의의

• 준실시간 전환: 최대 45분 지연되던 혜택 플래그 반영 시간을 수 초 이내로 단축.
• 데이터 정확성 향상: 고객이 보는 혜택 플래그와 실제 적용 가능한 혜택 일치.
• 모니터링 용이성: 프로시저 실패 추적의 어려움 해소, 도메인별 모니터링 가능.
• 아키텍처 개선: 전시 시스템이 데이터를 직접 계산하지 않고, 도메인으로부터 전달받아 조합하는 구조로 전환.