데이터 파이프라인에서 가장 조용하면서도 치명적인 사고는 스키마가 바뀌는 것이다. 어제까지 user_id가 정수였는데 오늘부터 누군가 문자열로 보낸다. 새 필드가 추가되거나, 있던 필드가 사라진다. 이런 변화를 통제하지 못하면 다운스트림 Job이 줄줄이 깨지고, 더 나쁜 경우 조용히 잘못된 데이터를 산출한다. 오늘은 이 두 위험을 다루는 두 도구를 배운다 — 스키마 변화를 관리하는 Glue Schema Registry와 데이터 자체의 품질을 검증하는 Glue Data Quality다.
AWS Glue Schema Registry는 스트리밍 데이터(Kinesis, MSK/Kafka, Managed Flink)의 스키마를 중앙에서 등록·버전 관리·검증하는 서비스다. 핵심 발상은 생산자(producer)와 소비자(consumer) 사이에 스키마 계약을 강제하는 것이다.
전통적인 문제는 이렇다. 생산자가 어느 날 메시지 형식을 바꿔 보내면, 그 사실을 모르는 소비자는 파싱에 실패하거나 잘못 해석한다. Schema Registry는 이를 막는다.