Week 9는 "데이터를 어디에 저장하고, 어떻게 처리하고, 누가 무엇을 볼 수 있게 하고, 실시간으로 어떻게 흘려보내는가"를 다뤘다. 개별 서비스를 외우는 것만으로는 SAP 시험을 풀 수 없다. 시험은 항상 "이 제약 조건들(비용·실시간성·운영 부담·이식성·권한 입도) 아래에서 무엇이 최적인가"를 묻고, 비슷해 보이는 두 서비스 중 하나만 모든 조건을 만족시킨다. 오늘은 한 주의 조각들을 하나의 아키텍처 그림으로 꿰고, 헷갈리기 쉬운 경계들을 시나리오로 단련한다.
[수집] Kinesis(KDS/Firehose) / MSK / DMS
↓
[저장] S3 Raw → Curated → Trusted (Parquet + 파티션 + 압축)
↓ │
[카탈로그] Glue Data Catalog (Hive Metastore 호환 — 모든 엔진의 허브)
↓
[처리] Glue(서버리스 ETL) / EMR(풀 Spark·Hadoop) / Athena(SQL CTAS)
↓
[적재] Redshift(RA3·Serverless) / OpenSearch / S3 Curated
↓
[분석] Athena / Redshift(Spectrum·Federated·Sharing·Zero-ETL) / QuickSight / SageMaker
│
[권한] Lake Formation (행·열·셀, LF Tag ABAC, RAM cr