이번 주는 도메인 3(Modeling)의 후반 — 모델을 어떻게 학습시키고(Day1), 튜닝하고(Day2), 일반화시키며(Day3), 잘 수렴시키는가(Day4) — 를 다뤘다. 오늘은 네 흐름을 하나의 의사결정 사슬로 묶고, 시험에서 단서를 보고 답을 좁히는 방식을 정리한다.
[Day1] 학습 실행 인프라
Estimator → 입력 모드(File/Pipe/FastFile) → 분산(데이터/모델 병렬) → Spot+체크포인트
[Day2] 하이퍼파라미터 튜닝(AMT)
탐색 공간·목표 지표 → 전략(베이지안/랜덤/그리드/Hyperband) → 조기 종료 → 워밍 스타트
[Day3] 일반화
과적합/과소적합 진단(편향-분산) → 정규화(L1/L2/드롭아웃/조기종료) → 데이터 증강 → 누수 방지
[Day4] 학습 최적화
배치 크기·학습률 스케줄 → 그래디언트 소실/폭발 → Debugger(품질) / Profiler(자원)💡 관련 이론: 모델링 후반의 핵심 긴장은 두 축이다. (1) 최적화 — 학습 데이터에서 손실을 잘 줄이는가(학습률·배치·그래디언트). (2) 일반화 — 새 데이터에서도 잘 맞는가(정규화·데이터·검증). 둘은 다르다. 최적화가 잘 돼도(학습 손실 낮음) 일반화가 실패(검증 손실 높음)하면 과적합이다. 시험 문제는 거의 항상 "이 증상이 최적화 문제인가 일반화 문제인가"를 먼저 가르도록 설계된다.