Amazon RDS for PostgreSQL: 테이블 파티셔닝을 통한 시계열 데이터 수집 속도 향상

1. 테이블 파티셔닝의 이점

• 개요: PostgreSQL 10 이상에서 네이티브 파티션 도입, 작은 데이터 청크 처리로 성능 향상.
• 데이터 수집: 큰 테이블보다 작은 파티션 처리 시 INSERT 성능 우수.

2. 성능 영향 요인

• 테이블 크기: 행 수와 디스크 공간, 읽기 속도에 영향 (인덱스 많을수록 수집 느려짐).
• 인덱스: BTree 구조 유지 위해 성능 영향, 사용되지 않는 인덱스 식별 및 제거 필요.
• 수집 방법: COPY 명령이 INSERT 문보다 대량 로드에 훨씬 효율적.
• 체크포인트: 전체 페이지 쓰기(full-page write)로 인한 과도한 로깅 가능성, 튜닝 필요.
• 가용 영역: 소스-DB 간 네트워크 지연 최소화를 위해 동일 AZ 배치 권장.

3. 데이터 수집 예제 및 벤치마크 (tsbs)

• 도구: tsbs (IoT, DevOps 시뮬레이션 벤치마크).
• 비교: 단일 테이블 vs 파티션된 테이블 데이터 수집 성능 비교.
• 결과: 파티션된 테이블 사용 시 데이터 수집 시간 54% 감소 (1784초 → 820초).
• 원리: 작은 파티션들을 사용함으로써 각 인덱스가 작아지고, DML 작업이 효율적으로 분산됨.

4. pgbench 벤치마크

• 기능: PostgreSQL 13부터 파티션된 방식으로 데이터셋 초기화 지원 (--partitions, partition-method 옵션).
• 방법: 범위(Range) 파티셔닝 vs 해시(Hash) 파티셔닝 비교.
• 서브 파티셔닝: 시간(범위) + 기본 키(해시) 결합으로 효율성 극대화.

5. 결론

• 테이블 파티셔닝은 시계열 데이터 수집 성능을 크게 향상시킴.
• 인덱스 관리, 적절한 수집 방법(COPY), 체크포인트 튜닝, 가용 영역 고려가 중요.