특성을 잘 만들어도 데이터 자체가 한쪽으로 치우쳐 있으면 모델은 그 편향을 그대로 학습한다. 대출 심사 모델이 특정 성별에 불리하게 판단하거나, 사기 탐지 모델이 0.1%뿐인 사기를 전부 놓치는 일이 대표적이다. 오늘은 데이터의 공정성과 품질을 점검하는 도구와 기법을 본다.
MLA-C01 시험은 책임 있는 AI(Responsible AI)와 데이터 품질을 점점 비중 있게 다룬다. 세 축 — SageMaker Clarify의 편향 탐지, 클래스 불균형 처리, train/validation/test 분할 — 을 판별 기준 중심으로 정리한다.
SageMaker Clarify는 두 가지 일을 한다. (1) 학습 전 데이터의 편향을 측정하고, (2) 학습 후 모델 예측의 편향과 특성 기여도(설명가능성)를 분석한다.
핵심 개념은 **민감 속성(facet)**이다. 성별·인종·나이처럼 공정성을 따져야 하는 컬럼을 지정하면, Clarify가 그 그룹 간 데이터·예측이 균형 잡혔는지 지표로 보여준다.
from sagemaker import clarify
clarify_processor = clarify.SageMakerClarifyProcessor(
role=role, instance_count=1, instance_type="ml.m5.xlarge", sagemaker_session=session
)