NVIDIA와 함께 AWS에서 자율주행 3.0을 위한 End-to-End Physical AI 데이터 파이프라인 구축하기

1. AV 3.0 개발 개요

주요 처리 흐름

• 자율주행(AV) 개발은 AV 1.0 (모듈형 스택), AV 2.0 (멀티모달 LLM 기반 E2E 학습), AV 3.0 (E2E Reasoning VLA 시스템)으로 세대 전환 중입니다.
• AV 3.0은 방대한 실세계 및 합성 센서 데이터(카메라, LiDAR, radar, 텔레메트리)를 필요로 하며, 데이터 수집, 큐레이션, 검증 과정이 중요합니다.
• AWS와 NVIDIA는 차량 데이터 수집부터 AI 기반 큐레이션, 3D 장면 복원, VLA 모델 학습, Closed-loop 시뮬레이션 검증까지 전 과정을 아우르는 참조 아키텍처를 제시합니다.
• 이 아키텍처는 오픈소스 및 NVIDIA 상용 소프트웨어와 AWS 관리형 인프라를 결합하여 확장성을 지원합니다.

2. 데이터 파이프라인 단계별 상세

데이터 수집 및 품질 검증

• 단계 1: 데이터 수집: ROS bags, MCAP, ASAM MDF4 등 표준 포맷으로 센서 데이터를 수집하여 클라우드로 전송합니다.
• 단계 2: 데이터 품질 검증: AWS Batch를 사용하여 누락된 센서, 타임스탬프 비동기화, 파일 손상 등을 검증하고, 유효한 데이터만 추출하여 Amazon S3에 저장합니다.

데이터 큐레이션 및 검색

• 단계 3: 데이터 큐레이션: NVIDIA Cosmos Curator (SageMaker HyperPod에서 실행)를 사용하여 원시 영상을 시맨틱이 풍부한 데이터셋으로 변환합니다.
  • 비디오 디코딩 및 분할
  • 트랜스코딩
  • NVIDIA Cosmos Reason VLM을 이용한 AV 특화 캡셔닝
  • NVIDIA Cosmos Embed를 이용한 비디오-텍스트 통합 임베딩 생성
• 단계 4: 검색 및 인덱싱: 큐레이션된 데이터를 바탕으로 특정 주행 시나리오를 검색합니다.
  • 경로 A: Amazon OpenSearch Service + NVIDIA GPU 가속 (하이브리드 쿼리 지원)
  • 경로 B: NVIDIA Cosmos Dataset Search (CDS) (턴키 검색 경험 제공)

데이터 증강, 복원 및 학습

• 단계 5: 데이터 증강: 검색된 시나리오에서 부족한 데이터를 생성형 AI (NVIDIA Cosmos Transfer)로 증강합니다 (날씨, 시간대, 환경 변환).
• 단계 6: 신경망 기반 3D 장면 복원: NVIDIA Omniverse NuRec를 사용하여 실세계 센서 데이터를 사실적인 3D 장면(OpenUSD 형식)으로 복원하여 시뮬레이션 환경을 생성합니다.
• 단계 7: 모델 학습: NVIDIA Alpamayo (Reasoning VLA 파운데이션 모델)를 Fine-tuning, 강화 학습, 최적화 과정을 거쳐 학습시킵니다.

3. 검증 및 반복 루프

Software-in-the-Loop (SIL) 테스트

• 단계 8: SIL 테스트: NVIDIA AlpaSim (Closed-loop 시뮬레이션 프레임워크)에서 복원된 3D 장면을 기반으로 학습된 모델을 검증합니다.
• 시뮬레이션 루프: 장면 로딩 → 모델 실행 → 물리 시뮬레이션 → 메트릭 수집으로 구성됩니다.
• 시뮬레이션 메트릭은 단계 5로 피드백되어 타겟팅된 데이터 큐레이션 및 재학습을 위한 반복 루프를 완성합니다.

결론

• AV 3.0 개발은 데이터 품질과 반복 속도가 핵심이며, AWS와 NVIDIA 기술 스택을 결합하여 End-to-End 파이프라인 구축이 가능합니다.
• 모듈식 아키텍처로 각 단계를 독립적으로 도입하거나 기존 시스템과 통합할 수 있습니다.