Day 4 - 데이터 거버넌스: 카탈로그·계보·공유·감사

데이터 거버넌스는 "데이터를 어떻게 찾고, 신뢰하고, 공유하고, 추적하는가"를 다룹니다. 오늘은 데이터 카탈로그와 계보(lineage), 안전한 데이터 공유(Data Exchange/Clean Rooms), 그리고 모든 활동을 추적하는 감사(CloudTrail)를 살펴봅니다.

1. 데이터 카탈로그

데이터 카탈로그는 데이터 자산의 메타데이터(스키마·위치·소유자·태그)를 중앙에서 관리하는 단일 진실 공급원입니다.

• AWS Glue Data Catalog: 데이터베이스/테이블/파티션 메타데이터 저장. Athena·Redshift Spectrum·EMR·Glue가 공유.
• 크롤러: S3 등을 스캔해 스키마를 자동 추론·등록.
• Glue Schema Registry: 스트리밍(Kafka/Kinesis) 스키마 버전·호환성 관리.
• 검색·발견: 분석가가 필요한 데이터를 찾는 출발점.

[S3 데이터] --크롤러--> [Glue Data Catalog: 테이블/스키마/파티션]
                              ↑ 공유
        [Athena] [Redshift Spectrum] [EMR] [Glue ETL]

💡 관련 이론: 카탈로그가 없으면 같은 데이터에 엔진마다 다른 스키마를 정의해 불일치가 생깁니다. Glue Data Catalog를 공유하면 "한 번 정의, 모든 엔진 사용"으로 일관성을 확보합니다.

2. 데이터 계보 (Lineage)