Aurora PostgreSQL에서 Amazon Bedrock을 사용한 벡터 임베딩 자동화

개요

이 게시글은 Amazon Aurora PostgreSQL에서 데이터 변경 시 벡터 임베딩 생성을 자동화하는 다양한 방법을 탐구합니다. Amazon Bedrock의 Amazon Titan 임베딩 모델을 사용하여, RAG(Retrieval-Augmented Generation) 애플리케이션의 핵심 요소인 벡터 임베딩을 최신 상태로 유지하는 안정적인 시스템 구축 방안을 제시합니다.

주요 구현 접근 방식

총 5가지 접근 방식이 제시되며, 각기 다른 복잡성, 지연 시간, 안정성, 확장성 트레이드오프를 제공합니다.

1. 데이터베이스 트리거와 aws_ml 확장 (동기식)

• PostgreSQL 트리거를 사용하여 데이터 변경을 감지하고, aws_ml 확장을 통해 Amazon Bedrock에 직접 동기 호출하여 임베딩을 생성합니다.
• 장점: 최소한의 구현 노력, 실시간 일관성.
• 단점: 트랜잭션 시간 증가, 타임아웃 위험, 확장성 제한.

2. 데이터베이스 트리거와 aws_lambda 확장 (동기식)

• PostgreSQL 트리거가 Lambda 함수를 동기적으로 호출하고, Lambda 함수가 Amazon Bedrock을 호출하여 임베딩을 생성합니다.
• 장점: 로직 분리, 향상된 처리 기능, 향상된 모니터링.
• 단점: 트랜잭션 차단, Lambda 콜드 스타트, 타임아웃 위험.

3. 데이터베이스 트리거와 aws_lambda 확장 (비동기식)

• PostgreSQL 트리거가 Lambda 함수를 비동기적으로 호출하고, Lambda 함수는 Amazon RDS Data API를 사용하여 결과를 데이터베이스에 기록합니다.
• 장점: 논블로킹 트랜잭션, 향상된 쓰기 성능, 타임아웃 제거.
• 단점: 최종 일관성, 복잡한 오류 처리, 상태 추적 복잡성.

4. Amazon SQS 대기열과 Lambda 배치 처리 (비동기식)

• 데이터베이스 트리거가 Amazon SQS 대기열에 메시지를 전송하고, Lambda 함수가 배치로 처리합니다.
• 장점: 높은 확장성, 효율적인 리소스 사용, 내장된 복원력, 비용 최적화.
• 단점: 임베딩 지연 시간 증가, 운영 오버헤드, 통합 복잡성.

5. pg_cron 확장을 사용한 예약 기반 주기적 비동기 업데이트

• pg_cron 확장을 사용하여 주기적으로 (예: 2분마다) 새로운 또는 수정된 레코드를 확인하고 배치 단위로 임베딩을 생성합니다.
• 장점: 자체 완결형 아키텍처, 효율적인 배치 처리, 강력한 오류 관리.
• 단점: 업데이트 지연 시간 증가, 데이터베이스 부하 영향, 쿼리 복잡성.

설계 고려 사항

• API 속도 제한: 대용량 애플리케이션의 경우 요청 스로틀링 또는 배치 처리가 필요할 수 있습니다.
• 토큰 제한: 매우 긴 텍스트 필드의 경우 청킹(chunking) 전략이 필요할 수 있습니다.
• 비용 영향: API 호출 빈도, Lambda 호출 횟수, 사용되는 추가 AWS 서비스에 따라 달라집니다.
• 지연 시간 요구 사항: 실시간 임베딩 생성과 시스템 성능 간의 트레이드오프를 평가해야 합니다.
• 데이터베이스 성능: 동기 방식 접근은 처리량과 데이터 수집 시간에 영향을 줄 수 있습니다.
• 오류 처리: 더 복잡한 접근 방식일수록 더 나은 오류 처리 및 재시도 기능을 제공합니다.

결론

애플리케이션의 일관성, 지연 시간, 확장성, 운영 복잡성에 대한 특정 요구 사항에 따라 최적의 솔루션을 선택해야 합니다. GitHub 리포지토리에서 전체 솔루션과 코드 예제를 확인할 수 있습니다.