Day 4 - 비지도·이상탐지: RCF, PCA, IP Insights, 토픽 모델(LDA/NTM)

오늘은 레이블 없이 구조·이상·차원·주제를 다루는 비지도 빌트인을 정리한다. 시험은 "레이블이 없다 / 드문 사건 / 차원이 너무 크다 / 주제를 발견" 같은 단서로 이 알고리즘들을 가리킨다. 각각의 입력·핵심 파라미터·헷갈리는 짝을 구분하는 것이 요점이다.

Random Cut Forest (RCF) — 이상 탐지

데이터를 무작위로 잘라 트리를 만들고, 격리하기 쉬운(=드문) 포인트에 높은 anomaly score를 매긴다.

• 용도: 이상 탐지(비지도). 시계열의 급변, 스파이크, 드문 패턴.
• 입력: CSV, RecordIO-protobuf.
• 출력: 각 레코드의 이상 점수(높을수록 이상).
• 스트리밍: Kinesis Data Analytics에 RANDOM_CUT_FOREST 함수로 내장 → 실시간 이상 탐지.

주요 하이퍼파라미터:
  num_trees          트리 수 (많을수록 안정)
  num_samples_per_tree   트리당 샘플 수
  feature_dim        피처 차원

💡 관련 이론: RCF의 직관은 "이상치는 정상보다 트리에서 빨리 격리된다"이다. 정상 포인트는 빽빽한 영역에 있어 여러 번 잘라야 분리되지만, 드문 포인트는 몇 번의 무작위 절단으로 홀로 남는다. 이 격리 깊이를 점수로 환산한다