GraphRAG Toolkit을 이용한 지식 그래프 쿼리 분석

주요 처리 흐름

• 인덱싱 단계: 문서에서 엔티티와 관계를 추출하여 Neptune 그래프 DB에 저장하고, 텍스트 청크 임베딩은 OpenSearch에 저장합니다.
• 쿼리 단계: 사용자 질문을 임베딩으로 변환하고, Top-k 유사도 검색으로 관련 청크 ID를 찾습니다. 이 청크 ID는 그래프 탐색의 시작점이 됩니다.
• 생성 단계: 검색된 정보를 바탕으로 LLM이 자연스러운 답변을 생성합니다. 구조화된 검색 결과 또는 자연어 응답 옵션을 지원합니다.

기술적 상세

• 벡터 검색의 한계: 단순 벡터 검색은 의미적 유사성에만 집중하여 맥락상 중요한 연결 정보를 놓칠 수 있습니다. GraphRAG는 이러한 한계를 극복하기 위해 그래프 탐색을 결합합니다.
• GraphRAG의 필요성: 복잡한 관계망, 숨겨진 연결 정보, 의사결정에 중요한 데이터 분석에 적합합니다.
• 주요 용어: 엔티티, 관계, 임베딩, 청크, 그래프 탐색, 요약 계층(Summary Layer), 로컬/글로벌 우선 탐색.

구현 세부사항

• 요약 계층: 원본 문서를 세 가지 요소로 분해하여 저장함으로써 맞춤형 검색과 구조적 저장을 가능하게 합니다.
• 고수준 검색기: TraversalBasedRetriever(하향식/상향식 탐색)와 SemanticGuidedRetriever(벡터 검색 + 그래프 탐색)를 제공합니다. 특히 EntityNetworkSearch는 구조적으로 연결된 정보를 찾아내는 데 효과적입니다.
• 결과 비교: 벡터 검색만 사용한 답변은 공급망 리스크를 놓쳤지만, 그래프 기반 검색은 이를 정확히 파악하여 비즈니스 인사이트를 제공했습니다.
• 엔티티 네트워크: 질문에서 추출된 키워드를 중심으로 1~2단계 연결된 관계망으로, 비유사성 검색과 프롬프트 강화를 통해 답변 품질을 높입니다.

문제 해결 과정

• 검색 전략: 로컬 우선 탐색(깊이 있는 정보)과 글로벌 우선 탐색(전체 맥락)을 상황에 맞게 선택하여 효율적인 검색을 수행합니다.
• Score 계산 및 Reranking: TF-IDF와 같은 기법을 활용하여 검색된 정보의 관련성과 중요도를 재평가하고, 중복되거나 관련성이 낮은 정보는 제거합니다.
• 비용 고려사항: 정확성과 완전성이 중요한 경우 GraphRAG의 추가 비용은 가치가 있지만, 단순 조회에는 기존 벡터 검색이 더 효율적일 수 있습니다.