이번 주는 데이터 엔지니어링의 심장인 **변환(Transform)**을 AWS Glue 생태계로 관통했다. Data Catalog로 메타데이터를 잡고, ETL Job으로 Spark 변환을 돌리고, Studio/DataBrew로 노코드 변환을 했으며, Schema Registry와 Data Quality로 신뢰성을 보장했다. 오늘은 이 조각들을 하나의 그림으로 꿰고, 서비스 선택 기준을 정리하며, 시험에서 자주 나오는 함정을 복습한다.
Glue의 모든 구성 요소가 어떻게 맞물리는지 전체 파이프라인으로 보자.
[원천 데이터] S3 raw / Kinesis / MSK / JDBC
│
├─(스트리밍)→ [Schema Registry] 스키마 계약·호환성 검증
│
[크롤러] ──→ [Data Catalog] 스키마·파티션 메타데이터 등록
│ │
│ (모든 엔진이 공유: Athena / Redshift Spectrum / EMR)
▼
[변환 계층]
├─ Glue ETL Job (PySpark, DynamicFrame) ← 엔지니어, 코드
├─ Glue Studio (비주얼 ETL → 코드 생성) ← 엔지니어, 노코드 시작
└─ Glue DataBrew (정제·프로파일링 Recipe) ← 분석가, 완전 노코드
│
[품질 게이트] Glue Data Quali