실시간 엔드포인트는 강력하지만 항상 켜져 있어 비용이 나간다. 모델이 수백 개라면? 각각 별도 엔드포인트를 띄우면 인스턴스 비용이 폭발한다. 또 추론 전에 전처리, 추론 후에 후처리가 필요하다면 이를 한 엔드포인트에 어떻게 묶을까? 오늘은 비용을 줄이고 복잡한 추론 흐름을 한 엔드포인트로 처리하는 고급 패턴들을 본다. MLA-C01은 "수백 개 모델", "전처리+추론을 한 엔드포인트에", "딥러닝 추론 비용 절감" 같은 키워드로 이 주제를 묻는다.
핵심 4가지를 구분하자. **멀티모델 엔드포인트(MME)**는 같은 컨테이너로 여러 모델을 동적으로 갈아끼우고, **멀티컨테이너 엔드포인트(MCE)**는 서로 다른 프레임워크 컨테이너를 한 엔드포인트에 두며, 추론 파이프라인은 전처리→추론→후처리를 순차 컨테이너 체인으로 묶고, Inferentia/Elastic Inference는 딥러닝 추론 비용을 낮춘다.
멀티모델 엔드포인트는 같은 프레임워크/컨테이너를 쓰는 다수의 모델을 단일 엔드포인트 뒤에서 공유 인스턴스로 서빙한다. 모델 아티팩트들을 S3에 두면, 호출 시 필요한 모델을 메모리로 동적 로드하고 안 쓰는 모델은 언로드한다. 모델 수백~수천 개를 소수 인스턴스에 얹어 비용을 극적으로 줄인다.