Amazon Bedrock과 Claude Agent SDK를 활용한 서버리스 멀티 에이전트 구현

이 글은 Amazon Bedrock과 Claude Agent SDK를 AWS Lambda에서 실행하여 Orchestrator-Worker 패턴 기반의 서버리스 멀티 에이전트 시스템을 구현하는 방법을 소개합니다. 이 아키텍처는 코드 리뷰, 테스트 작성, 리팩터링과 같은 작업을 전문화된 에이전트에게 분담시키고, Opus 모델로 결과를 종합하여 단일 에이전트 대비 높은 성능과 객관성을 확보하는 것을 목표로 합니다.

솔루션 개요: Orchestrator-Worker 패턴

• Orchestrator Lambda: 작업을 분할하고, 여러 Worker Lambda를 병렬로 호출하며, 최종 결과를 취합하고 정리하는 역할을 수행합니다.
• Worker Lambda: 각자 전문화된 에이전트(예: reviewer, tester, refactorer)를 실행합니다. Claude Agent SDK와 Skill을 사용하여 특정 작업에 대한 전문성을 부여합니다.
• Amazon Bedrock: IAM 기반의 네이티브 인증을 제공하며, Lambda 실행 역할만으로 모델 호출이 가능합니다. 교차 리전 추론 및 CloudWatch 통합으로 운영 편의성을 높입니다.
• AWS Lambda: 각 Worker는 독립된 실행 환경과 15분의 타임아웃을 확보하며, 동시 요청 시 자동으로 스케일링됩니다. 컨테이너 이미지 배포를 지원하여 SDK 및 CLI 바이너리를 쉽게 관리할 수 있습니다.
• 비용 효율성: Worker 에이전트에는 저렴한 Sonnet 모델을, 최종 종합 작업에는 Opus 모델을 사용하여 비용 효율성을 극대화합니다.

구현 단계

1. Claude Agent SDK 소개: query() API, ClaudeAgentOptions, system_prompt, Skill 정의, 그리고 Bedrock 인증(CLAUDE_CODE_USE_BEDROCK=1 환경변수) 방법을 설명합니다.
2. 에이전트 정의: Skill을 사용하여 각 Worker 에이전트(reviewer, tester, refactorer)의 역할, 작업 전략, 출력 형식을 정의합니다. Skill은 Python 코드 내 또는 마크다운 파일로 관리할 수 있습니다.
3. Worker 구현: 각 Worker Lambda는 S3에서 컨텍스트를 읽고, Claude Agent SDK를 사용하여 에이전트를 실행한 뒤, 결과를 S3에 저장합니다. Lambda의 타임아웃과 메모리 제약을 고려하며, permission_mode='bypassPermissions'로 에이전트의 도구 실행 권한을 관리합니다.
4. Orchestrator 구현: ThreadPoolExecutor를 사용하여 Worker Lambda를 병렬 호출합니다(Fan-out). 모든 Worker의 결과를 취합하여 Opus 모델에게 최종 종합을 요청합니다(Fan-in). Opus는 각 에이전트의 발견사항, 의견 충돌, 우선순위별 조치 항목 등을 정리합니다.
5. 배포 및 실행: 단일 Docker 이미지를 빌드하여 Orchestrator와 Worker Lambda에 배포합니다. Lambda 메모리를 10GB, 타임아웃을 900초로 설정합니다. 이후 Orchestrator Lambda를 호출하여 멀티 에이전트 시스템을 실행하고 결과를 확인합니다.

설계 결정 및 고려사항

• Lambda 제약: 15분 타임아웃, 6MB 응답 크기 제한, 10GB 메모리 한계 등을 S3 연동, 병렬 호출, 컨테이너 이미지 활용 등으로 대응합니다.
• 비용: Worker에 Sonnet 사용, Opus는 종합에만 활용하여 토큰 비용을 약 40% 절감합니다.
• 보안: 도구 제한(allowed_tools), IAM 최소 권한, 최대 반복 횟수(max_turns) 설정, S3 데이터 수명 주기 관리 등으로 보안을 강화합니다.

결론

이 아키텍처는 전문화된 에이전트를 병렬로 실행하고 결과를 종합하는 멀티 에이전트 시스템을 AWS Lambda 기반으로 효율적으로 구현하는 방법을 제시합니다. 이 패턴은 코드 리뷰, 보안 감사, 문서 생성 등 다양한 분야에 적용 가능하며, 비용 효율성과 보안을 고려한 설계가 특징입니다.