모델을 학습하고 평가까지 끝냈다면, 이제 그 모델을 실제로 호출할 수 있게 만들어야 한다. SageMaker는 한 가지 배포 방식만 제공하지 않는다. 트래픽 패턴, 페이로드 크기, 지연(latency) 요구, 비용 구조에 따라 네 가지 추론 옵션 중 하나를 골라야 한다. MLS-C01 시험에서 가장 자주 나오는 "어떤 추론 방식을 골라야 하는가" 유형의 문제는, 사실 이 네 가지의 선택 기준을 외우는 문제다. 오늘은 그 선택 기준을 시나리오 단위로 정리한다.
SageMaker가 제공하는 추론 방식은 다음과 같다.
옵션 지연 트래픽 패턴 페이로드/시간 제한 과금
─────────────────────────────────────────────────────────────────────────
Real-time 밀리초 지속적, 안정적 6MB, 60초 인스턴스 가동 시간(상시)
Serverless 초 단위 간헐적, 변동 큼 4MB, 60초 요청+지속시간(유휴 0원)
Asynchronous 준실시간 큰 페이로드, 큐잉 1GB, 최대 1시간 인스턴스 시간(0 스케일 가능)
Batch Transform 오프라인 대량 일괄 처리 100MB/레코드, 대용량셋 잡 실행 시간만