- 질문 출처: Science Vibe, 머신러닝 면접 질문 모음
면접 답변
표본 분산은 표본의 값들이 표본 평균에서 얼마나 퍼져 있는지를 재는 값으로, 제곱 편차의 합을 N-1로 나누어 구합니다. 모집단 분산은 보통 알 수 없으므로 이를 표본으로 추정하는 것이 목적입니다. 모집단 평균 대신 표본 평균을 쓰면 퍼짐이 작게 측정되는데, N-1로 나누면 그 부분이 보정되어 불편 추정량이 됩니다. 예를 들어 2, 4, 4, 4, 5, 5, 7, 9의 평균은 5이고 제곱 편차의 합은 32이므로 표본 분산은 32를 7로 나눈 약 4.57입니다. 이 값은 데이터 하나하나의 퍼짐을 나타내므로, 표본 평균의 불확실성을 나타내는 평균의 분산 σ²/N과는 구분해야 합니다.
자세한 설명
정의
표본 \(x_1, \dots, x_N\)의 평균을 \(\bar{x} = \frac{1}{N}\sum_i x_i\)라 할 때 표본 분산은 다음과 같다.
\[s^2 = \frac{1}{N - 1}\sum_{i=1}^{N} (x_i - \bar{x})^2\]\(N - 1\)로 나누는 것을 베셀 보정(Bessel’s correction)이라 한다. 이유는 Q-54에서 다룬다. 또한 교재에 따라 \(N\)으로 나눈 값을 표본 분산이라 부르기도 하므로, 분모를 함께 확인하는 것이 안전하다.
계산 예
데이터가 2, 4, 4, 4, 5, 5, 7, 9이면 \(N = 8\), \(\bar{x} = 5\), 제곱 편차의 합은 32이다.
| 값 | 식 | 결과 | 의미 |
|---|---|---|---|
| 표본 분산 \(s^2\) | \(32 / 7\) | 약 4.571 | 모집단 분산의 불편 추정값 |
| \(N\)으로 나눈 분산 | \(32 / 8\) | 4 | 이 8개가 전체일 때의 분산, 정규 모형의 MLE |
| 평균 분산의 추정값 | \(s^2 / 8\) | 약 0.571 | \(\bar{x}\)의 불확실성 |
마지막 값의 제곱근이 표준오차로, 신뢰구간에 쓰이는 값이다.
import numpy as np
x = np.array([2, 4, 4, 4, 5, 5, 7, 9])
print(x.var()) # 4.0 (기본값 ddof=0, N으로 나눔)
print(x.var(ddof=1)) # 4.571... (N-1로 나눔)
NumPy의 var는 기본적으로 \(N\)으로, pandas의 var는 기본적으로 \(N - 1\)로 나눈다. 같은 데이터에서 결과가 다르게 나오는 흔한 원인이다.
분포와 정밀도
i.i.d. 정규 표본이면 \((N - 1)s^2 / \sigma^2\)은 자유도 \(N - 1\)인 카이제곱 분포를 따르고, \(\text{Var}(s^2) = 2\sigma^4 / (N - 1)\)이다. 즉 작은 표본에서는 분산 추정값 자체가 크게 흔들린다. \(N = 5\)이면 \(s^2\)의 표준편차가 \(\sigma^2\)의 약 71%이다.
불편성은 정규성이 필요 없지만, 이 카이제곱 결과는 정규성에 의존한다. 표본 분산은 이상치에도 민감하다. 값 하나가 제곱으로 반영되기 때문이다.
관련 개념
- 자유도(degrees of freedom): 표본 평균을 고정하면 편차 중 \(N - 1\)개만 자유롭다. Q-54에서 이어진다.
- MLE와의 비교: 정규 분포의 최대우도 추정은 \(N\)으로 나눈다. Q-55에서 다룬다.
- 공분산(covariance): 표본 분산을 두 변수로 확장한 것으로, 같은 \(N - 1\) 분모를 쓴다. Q-35에서 다룬다.
꼬리 질문
Q. 표준편차도 표본 분산의 제곱근을 쓰면 불편한가요? 아닙니다. 제곱근이 비선형이어서 \(\sigma\)를 평균적으로 작게 추정합니다. Q-51에서 그 크기를 확인할 수 있습니다.
Q. \(N = 1\)이면 어떻게 되나요? 분모가 0이어서 정의되지 않습니다. 값이 하나뿐이고 모평균도 모르면, 퍼짐에 대한 정보가 없다는 뜻과 일치합니다.