이번 주는 "학습이 끝난 모델을 어떻게 세상에 내보내는가"를 다뤘다. 추론 옵션 선택(Day 1), 실시간 엔드포인트 운영(Day 2), 추론 최적화(Day 3), 배포 전략(Day 4)은 따로 보면 별개 같지만, 실제로는 하나의 결정 흐름으로 이어진다: 어떤 추론 방식으로 → 어떤 엔드포인트 구성으로 → 어떻게 최적화하고 → 어떻게 안전하게 내보낼 것인가. 오늘은 이 흐름을 한 장으로 묶고, 시험에서 갈리는 키워드들을 정리한다.
[1] 추론 방식 선택
오프라인 대량 → Batch Transform
온라인 + 큰 페이로드/긴 처리 → Asynchronous
온라인 + 간헐적 트래픽 → Serverless
온라인 + 지속 트래픽/저지연 → Real-time
│
[2] (Real-time) 엔드포인트 운영
무중단 교체: EndpointConfig 분리 + UpdateEndpoint
비용/안정성: 오토스케일링(Target Tracking)
규모: 멀티모델(MME) / 멀티컨테이너(MCE) / 추론 파이프라인
│
[3] 추론 최적화
지연↓: Neo 컴파일, 빠른 인스턴스
비용↓: Elastic Inference, Inferentia, Serverless
처리량↑: 배치 추론, 오토스케일 증설
│
[4] 안전한 배포
노출 0 검증: 섀도
소수→확대