TwelveLabs Marengo 3.0: 멀티모달 비디오 임베딩 및 검색 전략

본 글은 TwelveLabs Marengo 3.0 모델의 멀티모달 임베딩을 활용한 비디오 검색의 핵심 과제와 세 가지 주요 접근법을 설명합니다. 비디오의 시각, 음성, 자막 정보를 통합하여 "any-to-any" 검색을 가능하게 하지만, 멀티벡터 아키텍처 관리에 대한 새로운 도전 과제를 제시합니다. Fused Embeddings, Multi-Vector Fixed Weights (Score-based, RRF), Intent-based Dynamic Routing 전략을 비교하고 시스템 구현 가이드를 제공합니다.

멀티-Vector 검색의 핵심 과제

• 모달리티별 가중치 부여: 비디오의 다양한 정보를 어떻게 효과적으로 결합할지 결정.
• 멀티 벡터 반환 전략: 여러 벡터를 어떻게 처리하고 최종 결과를 도출할지 결정.
• 전략적 라우팅: 쿼리 의도에 따라 적절한 검색 전략 선택.
• 랭킹 및 스코어 보정: 정확하고 관련성 높은 검색 결과 제공.

주요 접근법

1. Fused Embeddings: 저장 시점에 3개 모달리티 임베딩을 가중 합산하여 하나의 벡터로 통합. 관리 용이, 비용 저렴. 단점: 비가역적, 고정 가중치, 디버깅 불가.
2. Multi-Vector Fixed Weights: 3개 모달리티 임베딩을 별도 인덱스에 저장하고 검색 시점에 가중 합산. 가역성, 디버깅 용이, 유연성 확보.
   • Score-based Fusion: 각 모달리티 검색 결과 점수에 가중치 곱해 합산. 튜닝 용이, 디버깅 가능.
   • RRF (Reciprocal Rank Fusion): 순위 기반 합산으로 모달리티 간 점수 스케일 차이 영향 최소화. 모든 모달리티 동등 취급.
3. Intent-based Dynamic Routing: 쿼리 텍스트에서 의도를 파악하여 모달리티 가중치를 동적으로 조절.
   • Routing Anchor: 모달리티별 대표 텍스트(앵커)와 쿼리 유사도 측정.
   • Softmax with Temperature: 앵커 유사도 결과에 Temperature를 적용하여 합리적인 가중치 산출.
   • 쿼리 적응성이 높고 관리 피로도 감소. 단점: 앵커 텍스트 품질 의존, 3개 인덱스 필요, α 튜닝 필요.

접근법 비교

항목	Fused Embeddings	Multi-Vec Score	Multi-Vec RRF	Dynamic Routing
인덱스 수	1개	3개	3개	3개 + 앵커 검색
쿼리 적응성	없음	없음	없음	있음
디버깅	불가	가능	가능	가능
권장 사항	빠른 프로토타이핑	최적화 의지, 일관된 영상 구조	모든 모달리티 순위 적용	자연어 질의 고도화

결론

Marengo 3.0의 멀티모달 임베딩은 Fused Embeddings, Multi-Vector, Intent-based Dynamic Routing 등 다양한 전략을 통해 활용될 수 있습니다. 각 전략은 트레이드오프가 존재하며, 시스템 요구사항과 업무 성숙도에 따라 최적의 방법을 선택해야 합니다. 이를 통해 시각, 청각, 언어 정보를 아우르는 정밀한 비디오 검색 경험을 구축할 수 있습니다.