쏘카 데이터 엔지니어링팀 적응기 및 주요 프로젝트 경험 공유

쏘카 데이터 엔지니어링팀 합류 배경 및 온보딩 과정

• 이전 의료 기기 스타트업에서의 데이터 엔지니어 경험 후, 대용량 데이터 처리 및 사용자 서비스 지향 회사로 이직 결정.
• 쏘카의 대규모 데이터 조직과 데이터 오케스트레이션 역량에 매료되어 지원.
• 온보딩 과정은 체계적으로 설계되었으며, Kubernetes 및 빅데이터 프레임워크 미경험에 대한 불안감을 해소.
• 초기 개발 환경 세팅과 함께 Kubernetes, Helm 등을 활용한 온보딩 과제 수행으로 실무 기술 스택 습득.
• 내부 노션 문서와 팀원들의 적극적인 질문 지원이 빠른 적응에 크게 기여.

핵심 프로젝트: 운전 점수 파이프라인 구축 및 서버 로그 적재 개선

• 대고객 운전 점수 파이프라인 구축: 회원 운행 기록 기반 운전 점수 계산 및 서비스 제공.
• 산출된 운전 점수를 AWS MSK에 안정적으로 Producing하며, 데이터 신뢰성 및 정합성 확보에 주력.
• Glue Schema 도입으로 데이터 스키마 관리 효율화 및 Produce/Consume 일관성 유지.
• 서버 로그 적재 방식 개선: 기존 복잡한 로그 적재 프로세스를 실시간 데이터 파이프라인으로 전환.
• AWS KDS Consumer 개발 및 Kubernetes 환경에서 Helm 차트를 통한 배포 경험. KDS와 MSK의 차이점 (offset 관리, 샤드 유연성) 실무 적용을 통해 체득.

온콜 엔지니어 경험 및 팀 문화

• 입사 한 달 후 온콜 엔지니어 역할 수행: Opsgenie를 통해 Ad-hoc 요청 처리 및 긴급 장애 대응.
• 데이터 적재/재적재, GCP 권한 부여, Airflow 및 인프라 관련 에러 처리 등 다양한 업무 수행.
• 잦은 컨텍스트 스위칭이 있었으나, 팀원들의 적극적인 문제 해결 지원과 배경지식 공유 덕분에 원활하게 적응.
• 온콜 업무를 통해 데이터 파이프라인 및 인프라 구조에 대한 전반적인 이해도 향상.
• 쏘카 데이터 엔지니어링팀의 지식 공유 문화와 협업 환경이 성장에 크게 기여함을 강조.