GloZ의 Amazon OpenSearch Service를 기반으로 한 자연어 이력서 검색 시스템 구축 사례 — Part 1: 데이터 파이프라인과 인덱싱
핵심요약
글로지는 10만 명의 번역가 풀에서 다양한 조건에 맞는 인력을 효율적으로 검색하기 위해 Amazon OpenSearch Service 기반의 자연어 이력서 검색 시스템을 구축했습니다. 이 시스템은 하이브리드 검색, 다국어 및 한국어 처리 품질 향상에 중점을 두었습니다.
GloZ의 Amazon OpenSearch Service 기반 이력서 검색 시스템 구축 사례 (Part 1)
1. 프로젝트 배경 및 해결 과제
비즈니스 요구사항 및 기존 시스템의 한계
- 글로지(GloZ Inc.)는 자체 개발한 번역 관리 플랫폼 E'nuff에 등록된 10만 명의 전문 번역가 풀을 대상으로, 다양한 조건(언어쌍, 도메인, CAT 도구, 희귀 언어, 시간대 등)을 만족하는 번역가를 빠르게 검색할 수 있는 시스템이 필요했습니다.
- 기존 PostgreSQL 기반 메타데이터 필터링과 자체 구축 벡터 검색 라이브러리 조합은 하이브리드 검색 미지원, 운영 부담, 다국어 및 한국어 처리 미흡 등의 한계가 있었습니다.
핵심 해결 과제
- 검색 정확도 향상: nDCG@10 지표 0.90 이상 달성
- 하이브리드 검색 구현: BM25와 Vector 검색을 단일 쿼리로 처리
- 다국어 및 한국어 검색 품질 확보: Nori 형태소 분석기와 다국어 임베딩 모델 결합