GS SHOP의 영상 기반 AI 상품 추천 플랫폼 구축기

1. 영상 이해 기반 추천 시스템 전환 배경

• 숏폼 콘텐츠 중요성 증대: TV 홈쇼핑에서 모바일 라이브, 숏폼(숏픽) 콘텐츠로 진화하며 영상의 역할이 중요해졌습니다.
• 기존 추천 시스템 한계: 상품 ID, 카테고리 등 정형 데이터 기반 추천으로 영상 자체의 맥락을 활용하지 못했습니다.
• 현장 고충 해결: PD의 영상 후처리 시간 단축을 위한 '영상 검색' 실험이 추천 시스템 재편으로 확장되었습니다.

2. 영상 검색의 시작: TwelveLabs Marengo 활용

• 임베딩 기술 도입: 영상과 텍스트를 벡터 공간에 매핑하여 검색 가능하게 만드는 임베딩 모델을 활용했습니다.
• Marengo 모델 활용: Amazon Bedrock에서 제공하는 TwelveLabs의 Marengo 모델을 사용하여 한국어 영상 콘텐츠에 대한 높은 검색 정확도를 확인했습니다.
• 영상 검색 대시보드 구현: PD의 검수 시간을 획기적으로 단축하는 영상 검색 기능을 구현했습니다.

3. 추천 시스템 확장: Pegasus와 Hybrid 아키텍처

• Pegasus 모델: Marengo로 이해한 영상 정보를 기반으로 영상의 전체 맥락을 설명하는 Pegasus 모델을 활용했습니다.
• 기존 추천 시스템 확장: 교체가 아닌 Hybrid 방식을 채택하여 안정성을 유지하고 영상 신호의 기여도를 명확히 검증했습니다.
• 소구 포인트(Appeal Point) 추출: 영상의 맥락을 추천 가능한 신호(기능성, 스타일, 사용 상황, 실용성)로 구조화하여 임베딩했습니다.

4. Hybrid 추천 시스템 아키텍처 상세

• Video Signal & Behavior Signal: 영상의 의미(소구 포인트 벡터)와 고객의 행동 의도(클릭, 시청 로그 기반 점수)를 결합했습니다.
• 행동 로그 처리: 시청 비율, 행동 단계, 최근성 가중치를 반영하여 고객 행동을 '의도' 수준으로 점수화했습니다.
• 5단계 추천 점수 계산: 상품 점수, 숏폼 점수, 카테고리 점수 등을 복합적으로 계산하고 MMR 재정렬로 유사 추천을 방지했습니다.

5. 실서비스 운영 및 성과

• 핵심 설계 결정: 신호 품질(노출 제외), 응답 시간(병렬 조회, 타임아웃), 장애 내구성(Fallback) 등을 고려한 설계가 적용되었습니다.
• A/B 테스트 결과: 기존 대비 클릭률 +19.8%, 주문율 +29.6%, 전환율 +25.4%, 총주문고객수 +57.5% 등 유의미한 성과 상승을 달성했습니다.
• 향후 계획: 영상 제작 단계까지 AI를 활용하는 선순환 구조 구축을 목표로 합니다.