머신러닝 파이프라인의 첫 번째 관문은 "데이터를 어디서, 어떻게 가져오는가"다. 모델 아키텍처가 아무리 정교해도 데이터가 들어오지 않으면 아무것도 학습할 수 없다. MLA-C01 시험에서 도메인 1(Data Preparation for Machine Learning)이 전체의 약 28%를 차지하는데, 그 출발점이 바로 **수집(ingestion)**이다.
오늘은 데이터가 AWS 안으로 들어오는 세 가지 경로 — 데이터 레이크의 중심인 S3, 실시간 스트리밍의 Kinesis, 그리고 주기적인 배치 수집 — 을 본다. 마지막으로 ML 학습 성능을 좌우하는 데이터 포맷(Parquet/CSV/JSON) 선택까지 다룬다.
AWS에서 ML 데이터의 사실상 단일 진실 공급원(single source of truth)은 Amazon S3다. SageMaker의 학습 잡, Glue의 ETL, Athena의 쿼리가 모두 S3를 입출력으로 사용한다. S3가 ML 데이터 레이크의 중심인 이유는 세 가지다.