어제 4가지 추론 옵션을 훑었다. 그중 가장 많이 쓰이고 시험 비중도 높은 것이 실시간 엔드포인트다. 사용자가 결과를 기다리는 온라인 서비스는 거의 다 실시간 엔드포인트로 배포된다. 오늘은 실시간 엔드포인트를 어떻게 구성하고(Model → Endpoint Config → Endpoint), 트래픽 변화에 어떻게 자동 대응하며(오토스케일링), 어떤 인스턴스를 골라야 하는지(CPU/GPU/가속기)를 본다.
핵심은 SageMaker 실시간 배포가 3계층 구조라는 점이다. 모델 아티팩트와 추론 컨테이너를 묶은 Model, 그 모델을 어떤 인스턴스로 몇 대 띄울지 정하는 EndpointConfig, 실제 HTTPS 트래픽을 받는 Endpoint. 이 분리 덕분에 무중단 배포와 A/B 테스트가 가능하다.
실시간 엔드포인트는 다음 3개 리소스로 만들어진다.
model.tar.gz)와 추론 코드가 담긴 컨테이너 이미지를 묶은 정의.