Amazon OpenSearch Service: 백프레셔와 Admission Control로 클러스터 복원력 강화

개요

Amazon OpenSearch Service는 2022년부터 내부적으로 인덱싱 백프레셔와 admission control 기능을 적용하여 클러스터 안정성을 개선했습니다. 2023년에는 Search Backpressure와 CPU 기반 Admission Control이 추가되어 클러스터 복원력이 더욱 향상되었습니다. 이 기능들은 OpenSearch 버전 1.3 이상에서 기본 활성화되어 있습니다.

Search Backpressure

개념

• 과부하 방지를 위해 리소스 집약적인 검색 요청을 식별하고 취소하는 메커니즘.
• 복잡한 쿼리, 느린 쿼리, 많은 히트 수, 무거운 집계 등으로 인한 노드 크래시 방지.

작동 방식

• 작업 리소스 추적 프레임워크 기반.
• 백그라운드 스레드가 CPU 시간, 힙 할당, 경과 시간 등을 측정하여 검색 작업에 취소 점수 할당.
• 취소 점수 높은 순으로 요청 취소 (속도 제한 적용).
• 거부 시 HTTP 429 "Too Many Requests" 반환, 부분 결과 허용 시 부분 결과 반환.

모니터링

• 노드 통계 API: _nodes/stats/search_backpressure 엔드포인트 사용.
• Amazon CloudWatch: ES/OpenSearchService 네임스페이스의 SearchTaskCancelled, SearchShardTaskCancelled 매트릭 확인.

CPU 기반 Admission Control

개념

• 노드의 현재 용량을 기반으로 검색 및 벌크 요청 수를 사전에 제한하는 게이트키핑 메커니즘.
• JVM 메모리 압박, 요청 크기 임계값 외 CPU 사용량 모니터링.
• 핫스팟, 성능 문제, 요청 타임아웃 등 연쇄적 장애 방지.
• 거부 시 HTTP 429 "Too Many Requests" 반환.

HTTP 429 오류 처리

• 의미: 클러스터 리소스 부족, 리소스 집약적 검색 요청, 워크로드 급증.
• Search Backpressure 활용: 거부 이유 제공 및 리소스 집약적 검색 요청 미세 조정.
• 트래픽 급증 시: 클라이언트 측 재시도 (지수 백오프 및 지터 사용).
• 디버깅: AWS 제공 문제 해결 가이드 참조.

결론

• Search Backpressure: 반응적 메커니즘 (과도한 부하 제거).
• Admission Control: 사전 예방적 메커니즘 (용량 초과 요청 제한).
• 두 기능의 결합으로 OpenSearch 클러스터의 전반적인 복원력 향상.