이번 주는 EDA의 후반부 — 통계적 토대와 검증 설계 — 를 다뤘다. 데이터를 정직하게 요약하고(통계), 변수 사이의 관계를 읽고(상관), 평가를 오염시키는 함정을 피하며(누수), 일반화 성능을 신뢰할 수 있게 추정하는(검증) 일이다. 이 네 가지는 MLS-C01 도메인 2의 마지막 관문이자, 실무에서 "왜 내 모델이 운영에서 무너지는가"의 답이 숨어 있는 영역이다. 오늘은 나흘 치를 하나의 흐름으로 엮어 복습한다.
[데이터]
│
├─ 1) 통계 기초 (Day1)
│ 분포: 왜도·첨도 먼저 본다 (앤스컴 4중주)
│ 중심: 치우치면 중앙값, 대칭이면 평균
│ 산포: std/IQR, 강건성은 IQR
│ 변환: 선형(표준화)=모양 불변, 로그/Box-Cox=치우침 완화
│ 표본↔모집단: CLT, 대표성·편향 의심
│
├─ 2) 상관과 관계 (Day2)
│ Pearson(선형) vs Spearman(단조·강건)
│ 상관 ≠ 인과: 역인과·교란변수·우연
│ 다중공선성: VIF>5~10, 선형 모델 계수 불안정 (트리는 둔감)
│ 범주형: 카이제곱 / 크래머의 V
│
├─ 3) 데이터 누수 (Day3)
│ 타깃 누수: 결과 정보 혼입 → 분할로 못 잡음, 시점 점검
│ 시계열 누수: 무작위 분할·미래 윈도