Day 3 - 과적합·과소적합: 진단과 정규화·데이터 증강

튜닝으로 좋은 하이퍼파라미터를 찾았다 해도, 모델이 학습 데이터에만 잘 맞고 새 데이터엔 실패하면 무용지물이다. 오늘은 모델 일반화의 양대 실패 — 과적합(overfitting)과 과소적합(underfitting) — 을 진단하고, 이를 잡는 정규화(L1/L2/드롭아웃/조기 종료)와 데이터 증강을 다룬다. 시험은 학습/검증 곡선 패턴, 편향-분산, 정규화 기법 매칭으로 출제한다.

편향과 분산, 그리고 일반화

일반화 오차는 크게 편향(bias)과 분산(variance)으로 분해된다.

• 편향이 높다 = 과소적합(underfitting): 모델이 너무 단순해 학습 데이터의 패턴조차 못 잡음. 학습 오차도 검증 오차도 둘 다 높음.
• 분산이 높다 = 과적합(overfitting): 모델이 학습 데이터의 잡음까지 외움. 학습 오차는 낮은데 검증 오차가 큼(둘 사이 격차가 큼).

과소적합:  train error ↑  valid error ↑   (둘 다 나쁨, 격차 작음)
적정:      train error ↓  valid error ↓   (둘 다 좋음)
과적합:    train error ↓  valid error ↑   (격차 큼)

💡 관련 이론: 편향-분산 트레이드오프는 모델 복잡도와 일반화의 핵심 긴장이다. 복잡도를 올리면 편향은 줄지만 분산이 늘고, 줄이면 그 반대다. 목표는 둘의 합(총 일반화 오차)이 최소가 되는 지점을 찾는 것이다