HYBE의 인시던트 자동 조사 체계 구축 사례: AWS DevOps Agent와 Custom MCP

1. 배경 및 문제점

HYBE 인프라운영팀은 다중 AWS 계정과 EKS 클러스터에서 서비스를 운영하며 Datadog, GitLab, Jira 등 다양한 도구를 사용합니다.
인시던트 발생 시 운영자는 여러 도구에서 정보를 수집하고 컨텍스트를 전환해야 하여 평균 30분~1시간 소요되는 비효율이 있었습니다.
시스템마다 서비스 이름이 달라(Datadog, GitLab, AWS Tag 등) 서비스 파악에 많은 시간이 소요되고, 신규 팀원 교육에 어려움이 있었습니다.
목표는 흩어진 도구 정보를 연결하고, AI가 운영자 분석 패턴을 재현하며, 초기 대응 자동화를 통해 전체 DevOps 워크플로우를 자동화하는 것이었습니다.

AWS DevOps Agent를 조사 엔진으로 활용하여 Topology 자동 빌드, Investigation 자율 분석, Proactive Prevention 기능을 사용합니다.
Custom MCP 서버를 Python FastAPI로 구축하여 Datadog, GitLab, Service Catalog, Athena 등 자체 도구와 연동하여 기능을 확장합니다.
PoC부터 운영 환경 투입까지 약 6주 소요되었으며, 1인이 설계·개발·운영을 담당했습니다.
전체 아키텍처: 이벤트 수신(API Gateway, Lambda), AI 에이전트 조사(DevOps Agent, Custom MCP), 후처리(EventBridge, Jira Integration Lambda)로 구성됩니다.

Service Catalog MCP: LLM을 활용하여 Datadog, GitLab, AWS 등에서 수집한 서비스 메타데이터를 정제하여 이름 불일치 문제를 해결하고, 매일 자동 갱신됩니다.
Skill + Catalog 조합: service-catalog-first, log-search-routing-guide, gitlab-code-investigation 등 Custom Skill을 통해 Agent가 Service Catalog MCP를 먼저 조회하도록 안내하여 조사 정확도와 속도를 높입니다.
Custom Datadog/GitLab MCP: 스택 트레이스 기반 코드 추적, 에러 메시지 검색 등 심층 코드 조사를 위해 자체 MCP 서버를 구축했습니다.
Athena MCP: 3일 이상 경과한 로그 조회를 위해 S3 아카이브된 로그를 Athena로 검색하며, VPC Flow Logs, ELB Access Logs, WAF Logs까지 분석 가능합니다.
에러 감지 → Jira 자동 생성: Datadog 에러 감지 시 Lambda가 Investigation을 생성하고, 완료 후 Claude Haiku 4.5로 담당팀을 분류하여 Jira 이슈를 자동 생성합니다.
MR 리뷰 자동화: MR 생성 시 GitLab Webhook → Event Lambda → DevOps Agent Investigation → GitLab Review Lambda를 통해 자동 코드 리뷰 및 댓글 등록 기능을 구현했습니다.

다중 계정 운영: DevOps Agent의 Secondary sources 기능과 Terraform을 활용하여 단일 Agent Space에서 모든 계정 관리합니다.
Infrastructure as Code: Terraform으로 전체 인프라를 관리하여 복구 및 일관성을 확보합니다.
시행착오 및 교훈: MCP 에러 응답 설계, Skill 활용, LLM 서비스 병합 문제, LLM 기반 팀 분류 등 다양한 경험을 통해 시스템을 고도화했습니다.
도입 성과: 에러 감지에서 원인 파악까지 30분~1시간 소요되던 것이 운영자 개입 없이 완료되고, Jira 이슈 작성 및 MR 리뷰가 자동화되었습니다. 야간/주말 대응 역량이 강화되었으며, 비용 효율적으로 운영됩니다.
향후 계획: MCP 도구 확장, Bedrock AgentCore Gateway 도입, Synthetic Monitoring 고도화 등을 계획하고 있습니다.