토스인컴, AI 활용하여 세금 환급 서비스 E2E 테스트 자동화

복잡한 도메인과 자동화의 어려움

• 다양한 서비스: 연말정산, 현금영수증, 세금비서 등 4개 서비스.
• 복잡한 플로우: 평균 15~20단계, 수십 가지 공제 항목, 실험 그룹, 약관 종류 등 다양한 조합.
• 높은 변경 빈도: UI 수정, 정책 변경, 외부 연동 시스템 변화 등으로 테스트 코드 유지보수 어려움.
• 불안정한 환경: 실험 그룹, 스크래핑 서버 상태 등에 따른 테스트 실패.

AI 기반 자동화 전략

• 'QA가 코드를 직접 치지 않는' 접근: AI(Claude Sonnet 4.5, Cursor, Codex)를 팀원으로 활용하여 개발 부담 경감.
• 역할 분담: SDET Agent(테스트 설계/아키텍처), Documentation Specialist(문서/일지 관리), Git Master(커밋/PR 관리) 페르소나 활용.

AI 활용 사례

• Page Object Model 도입: Claude Agent가 테스트 코드 구조화 및 리팩토링 수행, 유지보수성 향상.
• 약관 플로우 자동 정리: 서비스별, 유입 경로별 약관 변경에 유연하게 대응하는 범용 유틸 함수 개발.
• 문서 및 일지 자동화: 커밋 기반으로 회고록 및 테스트 일지 자동 생성, 문서화 시간 단축.
• Git 커밋 메시지 표준화: AI가 명확하고 일관된 커밋 메시지 생성 지원.
• 실시간 테스트 결과 피드백: 내부 메신저로 테스트 결과, 로그, 스크린샷 등 자동 전송 및 AI 기반 분석/논의 루프 구축.

시간순 개발 스토리

• 7월: 핵심 테스트 5개 제작, Page Object Model 도입, 유틸 함수 틀 완성.
• 8월: React 기반 UI 타이밍 이슈 해결 (Interaction Readiness 전략 적용), 테스트 성공률 70% → 100% 개선.
• 9월: 대규모 리팩토링(2147줄 → 3개 파일 분리), 테스트 격리 및 userNo 충돌 이슈 해결.
• 10월: 서비스별 약관 처리 시스템 재설계, 약관 추가 시 설정 파일 1줄 수정으로 반영 가능.
• 11월: 35개 테스트 완성, 운영 모드 진입, 문서와 코드 동기화.

AI와 함께 일하는 방식

• 문제 정의 및 맥락 설명: QA는 AI에게 문제 상황과 제약 조건을 명확히 설명.
• 결과 검토 및 승인: AI가 생성한 코드 및 설계 검토 후 승인.
• 시간 투자: 코드 작성 10% 미만, AI와 대화 및 결과 검토 90% 이상.

결론

• AI는 QA를 대체하는 것이 아니라 역량을 증폭시키는 도구.
• QA의 역할 변화: '코드 작성' → 'AI와 협업하여 문제 해결 및 방향 설정'.
• AI-driven 테스트 자동화: AI가 속도를 만들고, QA는 방향을 설정하는 협업 모델 구축.