Day1에서 4가지 추론 옵션을 훑었고, Day2~3에서 실시간과 고급 패턴을 봤다. 오늘은 동기 엔드포인트의 반대편에 있는 두 가지, 배치 변환과 서버리스 추론을 깊이 판다. 둘 다 "always-on 비용을 0으로 만들 수 있다"는 공통점이 있지만 작동 방식과 적합 시나리오가 전혀 다르다. 배치는 대량 데이터를 한꺼번에, 서버리스는 간헐적 개별 요청을 다룬다.
시험은 이 영역에서 튜닝 파라미터를 직접 묻는다. 배치 변환에서 처리량을 어떻게 높이는가(인스턴스 수, 미니배치, 분할), 서버리스에서 동시성과 콜드 스타트를 어떻게 다루는가(MaxConcurrency, Provisioned Concurrency)가 핵심이다. 비용 트레이드오프를 숫자 감각으로 잡아두자.
배치 변환은 S3의 대량 입력을 읽어 일괄 추론하고 결과를 S3에 쓴다. 처리량을 높이는 레버는 세 가지다.
Line(레코드 줄 단위), RecordIO, TFRecord 등으로 큰 파일을 레코드 단위로 쪼개 여러 인스턴스/배치에 분배.