Week 4는 탐색적 데이터 분석(EDA)의 두 번째 축인 고차원 데이터 다루기로 들어간다. 특성(feature)이 많아질수록 모델은 더 많은 정보를 갖는 것처럼 보이지만, 실제로는 데이터가 공간에서 희박해지고 거리 기반 알고리즘이 무너지는 **차원의 저주(curse of dimensionality)**에 빠진다.
오늘은 차원의 저주가 왜 문제인지, 그리고 이를 완화하는 두 대표 기법 **PCA(주성분 분석)**와 t-SNE를 다룬다. MLS-C01 시험에서는 "어떤 상황에 PCA를 쓰고, t-SNE는 왜 시각화 전용인가"를 묻는 식으로 출제된다.
차원이 늘어나면 같은 표본 수로 채워야 할 공간의 부피가 기하급수적으로 커진다. 그 결과 데이터 포인트들이 서로 멀어지고, 거리 기반 측정의 변별력이 사라진다.
| 증상 | 설명 |
|---|---|
| 데이터 희박화 | 차원이 늘수록 동일 밀도를 위해 필요한 표본이 지수적으로 증가 |
| 거리 동질화 | 모든 점 쌍의 거리가 비슷해져 최근접/최원접 구분이 무의미 |
| 과적합 위험 | 특성 수가 표본 수에 근접하면 모델이 노이즈를 외움 |
| 계산 비용 | 차원에 비례/제곱해 학습·추론 비용 증가 |
KNN, K-means처럼 유클리드 거리에 의존하는 알고리즘은 고차원에서 특히 취약하다.