이번 주는 도메인 3(Modeling)의 마지막 단계 — 모델을 평가하고 디버깅하는 법 — 을 다뤘다. 알고리즘을 고르고(Week 6) 학습·튜닝했다면(Week 7~8), 이제 "이 모델이 정말 좋은가, 어디서 어떻게 틀리는가"에 숫자와 도구로 답해야 한다. 오늘은 나흘 치를 하나의 평가·디버깅 흐름으로 엮고, 가장 헷갈리는 선택을 정리한다.
[학습된 모델]
│
├─ 1) 문제 유형으로 지표군 결정
│ 분류 → 정확도/정밀도/재현율/F1, ROC-AUC, PR-AUC
│ 회귀 → RMSE/MAE/MAPE/R²
│
├─ 2) 비즈니스 비용으로 지표·임계값 선택
│ FN 치명 → 재현율 / 임계값 ↓
│ FP 치명 → 정밀도 / 임계값 ↑
│ 불균형 → F1, PR-AUC (정확도 금지)
│
├─ 3) 곡선으로 트레이드오프 분석
│ ROC/AUC = 변별력, 모델 비교
│ PR 곡선 = 극단 불균형에서 정직
│
└─ 4) 디버깅·편향·오류 분석
Debugger = 학습 과정(기울기/손실/과적합)
Clarify = 편향(집단 공정성) + SHAP(설명)
오류 분석 = 큰 오류 버킷부터 개선