이번 주는 EDA의 전반부 — 데이터 정제와 특성 공학 — 을 다뤘다. 이 둘은 MLS-C01 도메인 2(Exploratory Data Analysis)의 핵심이자, 실무에서 모델 성능을 가장 크게 좌우하는 단계다. 오늘은 나흘 치 내용을 하나의 흐름으로 엮어 복습하고, 시험에서 가장 헷갈리는 의사결정 포인트를 정리한다.
[Raw 데이터]
│
├─ 1) 정제 (Day1)
│ 결측치: MCAR/MAR/MNAR 판단 → 대치(평균/중앙값/KNN/모델)
│ 이상치: IQR/Z-score 탐지 → 삭제/클리핑/변환/유지
│ 중복·오류: 분할 전 정리 (누수 방지)
│
├─ 2) 특성 공학 (Day2~3)
│ 스케일링: 정규화/표준화/RobustScaler (트리는 불필요)
│ 인코딩: Label/One-Hot/Target (순서·카디널리티로 결정)
│ 비닝: 비선형성·해석 ↔ 정보 손실
│ 날짜: 성분 분해 + sin/cos
│ 텍스트: BoW → TF-IDF → 임베딩
│ 고차원 범주형: 타깃 인코딩/해싱/임베딩
│
└─ 3) AWS 도구 (Day4)
Data Wrangler(시각적) → Processing Job(대규모) → Feature Store(재사용)