면접 답변
먼저 왜 값이 비었는지부터 확인하고, 그 원인에 맞추어 처리 방법을 골라야 합니다. 방법은 크게 행이나 열을 삭제하기, 평균이나 중앙값 또는 모델로 값을 대체하기, 결측 여부를 별도 특징으로 추가하기, 결측을 직접 다루는 모델을 쓰기로 나뉩니다. 원인이 중요한 이유는 소득이 높은 사람이 소득을 답하지 않는 것처럼 결측이 무작위가 아니면 삭제나 단순 대체가 결과를 왜곡하기 때문입니다. 예를 들어 결측이 적고 무작위에 가까우면 중앙값 대체와 결측 표시로 시작할 수 있고, 표 형식 데이터라면 결측을 기본 지원하는 그래디언트 부스팅을 바로 쓸 수도 있습니다. 대체 값은 반드시 학습 데이터로만 계산해 검증 및 테스트 데이터에 적용해야 데이터 누수를 막을 수 있습니다. 어떤 방법이 나은지는 검증 데이터에서 비교해 결정합니다.
자세한 설명
결측의 세 가지 유형
| 유형 | 의미 | 예 | 관측값만 사용한 분석 |
|---|---|---|---|
| MCAR(missing completely at random) | 결측이 어떤 값과도 무관하다 | 센서가 무작위로 끊긴다 | 표본이 줄지만 치우치지 않는다 |
| MAR(missing at random) | 결측이 관측된 변수로 설명된다 | 나이에 따라 특정 항목의 응답률이 다르다 | 치우칠 수 있지만 관측 변수로 보정할 수 있다 |
| MNAR(missing not at random) | 결측이 비어 있는 그 값이나 관측되지 않은 요인에 달렸다 | 소득이 높을수록 소득을 숨긴다 | 추가 가정이나 추가 자료 없이는 교정하기 어렵다 |
MAR과 MNAR은 관측 데이터만으로는 구별할 수 없다. 그래서 도메인 지식과 수집 과정의 확인이 필요하다.
방법 비교
| 방법 | 장점 | 단점 |
|---|---|---|
| 행 삭제(listwise deletion) | 간단하다 | 데이터가 줄고 MCAR이 아니면 치우친다. 추론 시 들어온 결측은 처리하지 못한다 |
| 열 삭제 | 결측이 대부분인 특징을 없앤다 | 정보가 사라질 수 있다 |
| 평균, 중앙값, 최빈값 대체 | 빠르고 기준선으로 좋다 | 분산과 변수 간 상관을 줄인다 |
| “Unknown” 범주 | 범주형 변수에 자연스럽다 | 범주의 의미가 섞일 수 있다 |
| 결측 표시 변수(missing indicator) | 결측 자체의 정보를 보존한다 | 특징 수가 늘어난다 |
| KNN, 회귀 대체, MICE | 변수 간 관계를 이용한다 | 계산 비용이 있고 대체 모델도 틀릴 수 있다 |
| 결측을 지원하는 모델 | 별도 대체가 필요 없다 | 결측의 원인을 설명해 주지는 않는다 |
| 시계열 보간, forward fill | 시간 구조를 활용한다 | 미래 값을 쓰는 보간은 누수를 일으킨다 |
시뮬레이션: 단순한 방법이 무엇을 망가뜨리는가
\(x \sim \mathcal{N}(0, 1)\), \(y = 0.8x + 0.6\epsilon\), \(\epsilon \sim \mathcal{N}(0, 1)\)인 합성 데이터 100만 개에서 \(x\)의 일부를 지웠다. 따라서 \(x\)의 참값은 평균 0, 분산 1이고 \(x\)와 \(y\)의 상관은 0.8이다.
MCAR: 무작위로 30% 삭제
| 방법 | \(x\)의 분산 | \(x\)와 \(y\)의 상관 |
|---|---|---|
| 평균 대체 | 0.70 | 0.67 |
| 회귀 대체(예측값 그대로) | 0.89 | 0.85 |
| 회귀 대체 + 잔차 더하기 | 1.00 | 0.80 |
평균 대체의 분산은 대략 관측 비율 0.7로 줄고, 상관도 \(0.8 \sqrt{0.7} \approx 0.67\)로 약해진다. 회귀 예측값을 그대로 넣으면 대체된 값이 회귀선 위에 놓여 상관이 오히려 부풀려진다.
MAR: 결측 확률이 \(y\)에 의존, \(\sigma(2y)\)이고 전체의 약 50% 삭제
| 방법 | \(x\)의 평균 | \(x\)의 분산 | \(x\)와 \(y\)의 상관 |
|---|---|---|---|
| 행 삭제 | -0.48 | 0.77 | 0.73 |
| 평균 대체 | -0.48 | 0.38 | 0.41 |
| 회귀 대체 + 잔차 더하기 | 0.00 | 1.00 | 0.80 |
\(y\)가 클수록 \(x\)가 많이 지워지므로 남은 값은 낮은 쪽으로 치우친다. 마지막 방법이 잘 맞는 것은 여기서 대체 모델이 데이터 생성 구조와 일치하는 유리한 조건이기 때문이며, 실제 데이터에서 항상 이만큼 복원된다는 뜻은 아니다.
다중 대체
위 표의 마지막 방법도 한 번만 대체하면 값이 확정된 것처럼 취급되어 불확실성을 과소평가한다. 다중 대체(multiple imputation)는 대체를 여러 번 하여 각각 분석하고 결과를 합쳐 대체의 불확실성을 반영한다. MICE는 변수마다 나머지 변수로 조건부 모델을 세워 반복 대체하는 대표적인 방법이다. 통계적 추론에서는 이 방법이 특히 중요하고, 예측이 목적이면 대체 품질보다 검증 성능으로 판단하는 경우가 많다.
실무 체크리스트
- 결측의 표현을 확인한다.
NaN뿐 아니라-999, 빈 문자열, 0이 결측을 뜻할 수 있다. - 누수를 막는다. 대체 통계와 대체 모델은 학습 데이터에만 맞추고, 교차 검증에서는 폴드마다 다시 맞춘다.
- 추론 환경을 생각한다. 서비스에서 어떤 특징이 빠질 수 있는지, 그때 같은 전처리를 할 수 있는지 확인한다.
- 정답의 결측은 따로 생각한다. 지도 학습에서 \(y\)가 빈 샘플은 보통 학습에서 빼지만, 준지도 학습으로 활용할 수도 있다.
관련 개념
- 데이터 누수(data leakage): 학습 시점에 쓸 수 없는 정보가 학습에 섞이는 문제이다. 전체 데이터로 평균을 구해 대체하는 것이 대표적인 예이다.
- 그래디언트 부스팅의 결측 처리: XGBoost, LightGBM 등은 분기마다 결측 샘플이 갈 방향을 학습해 결측을 특별한 전처리 없이 다룬다.
- EM 알고리즘: 잠재 변수나 결측이 있을 때 기대 단계와 최대화 단계를 번갈아 우도를 높이는 방법이다. Machine Learning 13에 정리되어 있다.
- Train/validation/test 분리: 전처리를 어디에 맞출지 결정하는 기준이다. Q-24에서 다룬다.
꼬리 질문
Q. 결측률이 몇 퍼센트면 그 열을 지워야 하나요? 보편적인 기준은 없다. 결측률이 높아도 결측 여부 자체가 강한 신호일 수 있으므로, 표시 변수를 포함해 해당 특징이 있을 때와 없을 때의 검증 성능을 비교해 정한다.
Q. 결측 표시 변수는 왜 유용한가요? MNAR처럼 값이 비었다는 사실 자체가 정보인 경우 대체로 사라지는 신호를 모델에 전달한다. 다만 학습과 서비스의 결측 패턴이 다르면 이 신호가 오히려 일반화를 해칠 수 있다.
Q. 학습 때 결측이 없던 특징이 서비스에서 비면 어떻게 하나요? 모델이 그런 경우를 학습하지 못했으므로 위험하다. 학습 시 일부 특징을 무작위로 가리는 증강을 하거나 예비 모델과 규칙을 마련하고, 입력의 결측률을 모니터링한다.
Q. 평균과 중앙값 대체 중 어느 것을 쓰나요? 분포가 치우쳤거나 이상치가 있으면 중앙값이 안정적이다. 두 방법 모두 분산을 줄이므로 모델 성능으로 차이를 확인한다.