AWS Gen AI 기반 초개인화 키오스크 개발 및 3위 수상 후기

해커톤 아이데이션 및 솔루션 기획

비개발자 팀으로서 AWS Gen AI의 활용을 핵심 전략으로 삼아 '무엇을 개발할지'에 집중, 안면 인식 기반 초개인화 키오스크 아이템을 구상했습니다.
주요 기능으로 얼굴 기반 고객 식별, 초개인화 메뉴 추천, 오프라인 매장 영업 전략 수립을 목표로 했습니다.
데이터 처리 흐름은 키오스크에서 고객 정보(얼굴 이미지, 나이대, 성별, 선호 음식)를 수집하여 AWS (RDS, S3, OpenSearch)에 저장하고, 방문 시 얼굴 인식을 통해 고객을 식별하여 맞춤형 메뉴를 추천하는 방식으로 설계했습니다.

솔루션의 핵심인 안면 인식 및 개인별 메뉴 추천을 위해 데이터 인터페이스를 상세 설계했습니다.
고객 정보 등록 시 키오스크에서 촬영한 얼굴 이미지(base64 인코딩, 약 2MB)를 S3에, 추출한 특징 벡터를 OpenSearch에, 고객 정보를 MySQL에 저장합니다.
메뉴 추천 요청 시 실시간 얼굴 이미지의 특징 벡터를 기존 데이터와 비교하여 고객을 식별하고, 추천 메뉴 및 사유를 응답합니다.
매출 데이터는 결제 시 수집되어 AWS Bedrock을 활용해 매출 분석 및 마케팅 전략 수립에 사용되었으나, 생성형 AI의 수식 계산 오차라는 단점도 발견되었습니다.
아키텍처는 S3, OpenSearch, MySQL, Lambda (API-GW), AWS Bedrock Titan 파운데이션 모델, Streamlit (웹 서비스) 등으로 구성되었습니다.

Bedrock titan-embed-image-v1 모델을 사용하여 이미지에서 특징 벡터를 추출하고 OpenSearch에 저장, k-NN 알고리즘으로 유사도를 비교하여 안면 인식을 구현했습니다 (50명 시연 중 100% 인식 성공).
Claude 모델과 RAG (Retrieval-Augmented Generation) 기법을 활용하여 고객 정보, 구매 이력, 날씨/위치 기반의 초개인화 메뉴 추천 기능을 구현했습니다.
Lambda, Bedrock, Bedrock Agent를 활용하여 매출 분석 및 고객 식습관을 확인할 수 있는 관리자 웹 서비스를 개발, 높은 평가를 받았습니다.
최종 PT에서는 개발된 솔루션의 실시간 시연으로 기술지원팀의 역량과 AWS Gen AI의 강력함을 성공적으로 어필하여 3위 입상이라는 값진 결과를 얻었습니다.