이번 주는 학습된 모델을 실제로 서빙하는 추론 배포를 다뤘다. 핵심 메시지는 하나다. 추론 방식 선택은 알고리즘이 아니라 요청 패턴이 결정한다. 트래픽이 꾸준한가 간헐적인가, 즉시 응답이 필요한가, 페이로드와 처리시간은 얼마인가, 비용을 어디서 아낄 것인가. 오늘은 Day1~4를 하나의 의사결정 흐름으로 엮어 시험장에서 바로 꺼낼 수 있게 정리한다.
Day1의 핵심 표를 다시 머릿속에 새기자.
| 옵션 | 응답 | 트래픽 | 페이로드/시간 | always-on 비용 |
|---|---|---|---|---|
| 실시간 | 동기, ms~초 | 꾸준 | <6MB, <60초 | 있음(최소 1대) |
| 서버리스 | 동기, ms~초 | 간헐 | <4MB, <60초 | 없음(0 스케일) |
| 비동기 | 큐 기반 비동기 | 가변, 긴 처리 | <1GB, <60분 | 없음(0 스케일) |
| 배치 변환 | 작업 단위 | 일괄 | 전체 데이터셋 | 없음(끝나면 종료) |
선택 결정 트리
즉시 응답 필요?
├─ 아니오 → 전체 데이터셋 일괄? → 예: 배치 변환 / 아니오(개별·큰 페이로드·긴 처리): 비동기
└─ 예 → 트래픽 꾸준? → 예: 실시간 / 아니오(간헐·콜드스타트 허용): 서버리스
추가 제약: 페이로드>6MB 또는 처리>60초 → 실시간/서버리스 탈락, 비동기/배치로