Neptune GraphRAG Toolkit을 활용한 정교한 비정형 데이터 검색

개요

본 게시글은 Amazon Neptune 기반의 오픈 소스 Python 라이브러리인 GraphRAG Toolkit을 소개합니다. 이 툴킷은 비정형 데이터에서 벡터 임베딩이 포함된 그래프를 자동으로 구축하고, 이를 활용해 구조적으로 관련된 정보를 검색하는 질의응답(Q&A) 전략 프레임워크를 제공하여 기존 RAG 애플리케이션을 강화합니다.

그래프 도입의 이점

• 벡터 기반 RAG의 한계: 의미적 유사성만으로는 질문과 직접 관련은 없지만 답변에 필수적인 정보를 놓칠 수 있습니다. (예: 공급망 리스크 정보)
• GraphRAG의 차별점: 그래프는 의미적 유사성을 넘어 시간, 공간, 인과관계 등 다양한 관계를 모델링하여, 놓칠 수 있는 중요한 정보를 구조적 연결을 통해 찾아옵니다.
• 실제 시나리오: Example 기업의 위젯 판매 전망 분석 시, 벡터 RAG는 낙관적 전망만 제시하지만 GraphRAG는 공급망 리스크(Fictitious 운하 산사태)까지 포함한 현실적인 답변을 제공합니다.

GraphRAG Toolkit 구성 요소

• 인덱싱(Indexing):
  • 콘텐츠를 가공하여 그래프 스토어(Amazon Neptune, Amazon Neptune Analytics)와 벡터 스토어(Amazon OpenSearch Serverless)에 저장합니다.
  • LexicalGraphIndex를 사용하여 연속 수집 또는 분리된 추출/구축 방식으로 데이터를 인덱싱합니다.
  • LlamaIndex 리더(SimpleWebPageReader 등)와 Amazon Bedrock의 파운데이션 모델(FM)을 활용합니다.
• 쿼리(Querying):
  • 그래프 및 벡터 스토어에서 관련 정보를 검색합니다.
  • 검색된 정보를 대규모 언어 모델(LLM)에 전달하여 최종 답변을 생성합니다.
  • LexicalGraphQueryEngine이 이 두 단계를 통합하여 처리합니다.

GraphRAG Toolkit 설치 및 환경 설정

• 빠른 시작: GitHub 리포지토리의 AWS CloudFormation 템플릿을 통해 Neptune Database, OpenSearch Serverless, SageMaker 노트북 인스턴스 등을 포함한 환경을 빠르게 구축할 수 있습니다.
• 사전 요구사항: Amazon Bedrock FM (예: Claude 3 Sonnet, Cohere Embed) 액세스 권한 활성화 및 해당 FM이 제공되는 리전에서 스택 실행이 필요합니다.
• 노트북 실행: 제공된 SageMaker 노트북을 통해 GraphRAG Toolkit 설치, 예제 콘텐츠 인덱싱, 다양한 쿼리 전략 실험을 수행할 수 있습니다.
• 자체 애플리케이션 통합: 기존 환경에 통합 시, 사전 프로비저닝된 그래프/벡터 저장소 및 FM 액세스 권한이 필요하며, pip를 통해 툴킷을 설치하고 프로젝트 문서의 예제를 참고하여 Python 애플리케이션에 맞게 코드를 수정합니다.

결론

GraphRAG Toolkit은 Amazon Neptune과 OpenSearch Serverless를 활용하여 비정형 텍스트 콘텐츠로부터 그래프와 벡터 임베딩을 자동으로 구축하고, 이를 통해 단순 유사성 검색을 넘어선 구조적이고 관련된 정보를 풍부하게 검색하여 더 정확하고 입체적인 답변을 생성할 수 있도록 지원하는 강력한 오픈 소스 Python 라이브러리입니다. 이는 RAG 애플리케이션의 검색 능력을 크게 향상시켜 복잡한 질문에 대한 답변의 질을 높입니다.