QA 자동화 결과 데이터화: Grafana Dashboard와 Weekly 분석을 통한 Fail률 개선

본 글은 29CM QE 팀의 iOS UI 자동화 경험을 바탕으로, QA 자동화 결과를 데이터 기반으로 관리하고 분석하여 테스트 신뢰성과 일관성을 높인 과정을 공유합니다. Jenkins 스케줄링 기반 자동화 수행 결과를 Grafana Dashboard에 시각화하고, 이를 활용하여 Fail률 감소 목표(0.7% 미만)를 달성한 경험을 상세히 다룹니다.

데이터 기반 분석의 시작: Grafana Dashboard

• 데이터 적재: 2024년 1월부터 자동화 수행 결과를 DB에 적재.
• 시각화: Grafana Dashboard를 통해 날짜별 Fail률, 평균 수행 시간, 시나리오별 Fail 카운트 등 주요 지표 모니터링.

Fail률 개선 과정

1. 7월: 문제점 분석 및 개선

• 핵심 지표: 시나리오별 Fail 카운트 합계 분석.
• 발견 문제점: 구매 플로우, 로그인 실패로 인한 연쇄 실패, 결제 수단 선택 오류, 29 라이브 PIP 모드 유지 현상.
• 개선 작업: 사전 로그인 강화, 선택 동작 안정화 (스크롤), 특정 시간대 PIP 모드 닫기 기능 추가.
• 결과: Fail률 2%에서 1% 미만으로 감소.

2. 8월: 개선 효과 확인 및 추가 과제 발견

• 확인 사항: 구매/로그인 관련 시나리오 Fail률 대폭 개선.
• 발견 문제점: 간헐적 Fail, A/B 실험 환경에서의 계정별 기대 결과 차이.
• 개선 작업: A/B 실험 대응 (그룹별 분기 처리), 카테고리 Depth 클릭 로직 고도화, 텍스트 정합성 검증 (공백 처리).
• 결과: 목표 Fail률(0.7%)에 근접하나 일부 초과.

3. 9월: 신규 시나리오 추가와 Fail률 감소 동시 달성

• 목표: 신규 시나리오 추가와 함께 Fail률 0.7% 미만 달성.
• 신규 시나리오: 브랜드 홈 고도화, 쿠폰 적용 상품, 마수동/광수동 알람 등.
• 개선 작업: 브랜드 홈 NEW 구좌 조건부 검증 (ID 활용), 가격 필터 패싯 선택 조건 강화, 패싯 유지 방지 로직 추가, 테스트 환경 일관성 확보 (API 활용).
• 결과: 신규 시나리오 추가에도 불구하고 Fail률 0.5% 미만 달성.

자동화 수행 시간 분석 및 최적화

• 분석: Grafana Dashboard를 통해 시나리오별 수행 시간 모니터링 및 전주 대비 비교.
• 원인 분석: Element 탐색, API 호출, 불필요한 대기 시간 등.
• 최적화: 테스트 케이스 분리, 비효율 로직 개선.
• 중요성: 이구위크 등 대규모 이벤트 기간 동안 자동화 스케줄링 주기 단축(20~30분)을 위한 필수 요소.

모바일 개발팀과의 협업 및 팀워크

• 협업: Element ID 심기 등 모바일 개발팀과 긴밀한 협업.
• 팀워크: 혼자 고민하지 않고 개선 대상 선정, 고민 시간 기준 설정, Q&A 리스트업, 피드백 공유 등 '원팀' 문화 구축.
• 성과: Android팀도 9월 Fail률 2% 미만 목표 달성.

결론

데이터 기반 분석, 팀 협업, 체계적인 일정 관리를 통해 QA 자동화의 신뢰성과 일관성을 크게 향상시켰습니다. 특히 AI를 활용한 자동 분석 및 리포트 생성 준비 중임을 밝히며, 앞으로도 지속적인 모니터링과 분석을 통해 안정적인 자동화 환경을 구축해 나갈 것임을 강조했습니다.