Config의 Amazon EKS Spot 기반 대규모 RFM 데이터 파이프라인 구축
Config는 Amazon EKS, EC2 Spot Instances, RabbitMQ, KEDA, Karpenter를 활용하여 대규모 RFM 데이터 전처리 파이프라인을 구축했습니다. 기존 SQS + Lambda 기반의 단일 큐 순차 처리에서 Job별 동적 큐를 통한 완전 병렬 처리로 전환하여, 비용을 70~90% 절감하고 처리 시간을 수일에서 수 시간으로 단축했으며, Spot 인스턴스 중단 시에도 데이터 손실 없이 안정적인 작업 완료를 보장합니다.