Day 4 - 재학습·모델 유지보수: 자동 재학습 파이프라인과 A/B·섀도 테스트

모니터링이 드리프트나 성능 저하를 감지했다면, 그 다음은 무엇인가? 사람이 매번 손으로 모델을 다시 학습시키고 배포하는 것은 느리고 실수가 잦다. 성숙한 ML 운영의 핵심은 드리프트 감지 → 자동 재학습 → 안전한 재배포가 하나의 파이프라인으로 닫히는 것이다. 오늘은 이 재학습 루프와, 새 모델을 안전하게 내보내는 A/B 테스트·섀도(shadow) 테스트 배포 전략을 다룬다.

MLA-C01은 MLOps 관점에서 "드리프트가 감지되면 어떻게 자동으로 대응하는가", "새 모델 버전을 위험 없이 검증하려면 어떤 배포 전략을 쓰는가"를 묻는다.

재학습이 필요한 신호

모델은 언제 다시 학습해야 할까? 트리거는 크게 셋이다.

• 드리프트 기반: Model Monitor가 데이터/모델 품질 위반을 보고하면.
• 성능 기반: 모델 품질 모니터의 정확도·F1이 임계치 아래로 떨어지면.
• 일정 기반: 데이터가 빠르게 변하는 도메인에서 주기적으로(예: 매주).

💡 관련 이론: 무조건 자주 재학습하는 것이 정답은 아니다. 재학습에는 컴퓨팅 비용, 검증 시간, 새 모델이 오히려 더 나쁠 위험이 따른다. 그래서 "드리프트 감지 시 재학습"처럼 이벤트 기반(event-driven) 트리거가 비용 효율적이다. 일정 기반은 단순하지만, 변화가 없는 기간에도 재학습해 자원을 낭비할 수 있다