- 질문 출처: Science Vibe, 머신러닝 면접 질문 모음
면접 답변
N-1로 나누는 이유는 모평균을 모르고 표본 평균으로 대신할 때 분산 추정량을 불편하게 만들기 위해서입니다. 표본 평균은 바로 그 표본에 대해 제곱 편차의 합을 최소로 만드는 값이라서, 참 평균을 썼을 때보다 편차가 작게 측정됩니다. 계산해 보면 제곱 편차 합의 기댓값이 Nσ²가 아니라 (N-1)σ²가 되므로 N-1로 나누어야 정확히 σ²가 나옵니다. 자유도로 설명하면, 평균을 추정하는 데 정보를 하나 썼기 때문에 독립적으로 움직일 수 있는 편차는 N-1개입니다. 예를 들어 분산이 4인 분포에서 5개씩 뽑아 N으로 나누면 평균적으로 3.2가 되고, N-1로 나누면 4가 됩니다. 다만 이것은 불편성을 위한 선택일 뿐이고, 모평균을 알면 N으로 나누는 것이 맞습니다.
자세한 설명
유도
\(X_1, \dots, X_N\)이 i.i.d.이고 평균이 \(\mu\), 분산이 \(\sigma^2\)이라 하자. \(X_i - \mu = (X_i - \bar{X}) + (\bar{X} - \mu)\)로 나누어 제곱해 더하면, \(\sum_i (X_i - \bar{X}) = 0\)이므로 교차항이 사라진다.
\[\sum_{i=1}^{N} (X_i - \mu)^2 = \sum_{i=1}^{N} (X_i - \bar{X})^2 + N(\bar{X} - \mu)^2\]이 식이 핵심이다. 표본 평균을 기준으로 한 합은 참 평균을 기준으로 한 합보다 항상 작거나 같다. 기댓값을 취하면 왼쪽은 \(N\sigma^2\)이고, \(\mathbb{E}[(\bar{X} - \mu)^2] = \sigma^2 / N\)이므로 다음을 얻는다.
\[\mathbb{E}\left[\sum_{i=1}^{N} (X_i - \bar{X})^2\right] = N\sigma^2 - N \cdot \frac{\sigma^2}{N} = (N - 1)\sigma^2\]따라서 \(N - 1\)로 나눈 값의 기댓값이 \(\sigma^2\)이다. \(N\)으로 나누면 기댓값은 \(\frac{N-1}{N}\sigma^2\)이고 편향은 \(-\sigma^2 / N\)이다. 줄어든 \(\sigma^2\)은 표본 평균 자체의 불확실성이 차지하던 몫이다.
유도에는 독립성과 유한한 분산만 썼고 정규성은 필요 없다.
자유도로 보기
편차 \(X_i - \bar{X}\)는 합이 0이어야 하므로, \(N - 1\)개를 정하면 마지막 하나는 자동으로 정해진다. 회귀에서도 같다. 절편을 포함해 계수 \(p\)개를 추정하면 잔차 분산의 불편 추정량은 잔차 제곱합을 \(N - p\)로 나눈 값이다. 표본 분산은 \(p = 1\)인 경우이다.
시뮬레이션
\(\mathcal{N}(0, 2^2)\)에서 5개씩 뽑는 실험을 1,000,000번 반복해 평균을 냈다.
| 추정 방식 | 이론값 | 시뮬레이션 평균 |
|---|---|---|
| 표본 평균 기준, \(N\)으로 나눔 | 3.2 | 3.199 |
| 표본 평균 기준, \(N - 1\)로 나눔 | 4 | 3.999 |
| 참 평균 기준, \(N\)으로 나눔 | 4 | 3.999 |
주의할 점
- \(\mu\)를 알면 \(N\)으로 나눈다. 빠진 자유도가 없기 때문에 표의 세 번째 행이 불편이다.
- 표본이 곧 모집단이면 \(N\)으로 나눈다. 추정하는 것이 아니라 그 집단의 분산을 계산하는 것이기 때문이다.
- 불편 추정이 곧 최소 오차는 아니다. MSE 기준으로는 정규 데이터에서 \(N - 1\)이 최선이 아니다. Q-55에서 비교한다.
- \(N\)이 크면 차이가 미미하다. \(N = 1000\)에서 두 값의 차이는 약 0.1%이다.
관련 개념
- 표본 분산: 이 보정을 적용한 추정량이다. Q-53에서 다룬다.
- 불편 추정: 이 보정이 달성하려는 성질이다. Q-51에서 다룬다.
- 잔차 분산: 회귀에서의 같은 보정이다. 잔차 제곱합은 Q-66에서 다룬다.
꼬리 질문
Q. 왜 하필 표본 평균 기준의 합이 더 작나요? \(\sum_i (X_i - c)^2\)은 \(c = \bar{X}\)에서 최소가 되기 때문입니다. 위의 항등식이 \(c = \mu\)일 때 그 차이가 정확히 \(N(\bar{X} - \mu)^2\)임을 보여 줍니다.
Q. 그럼 표준편차도 \(N-1\)이면 불편한가요? 아닙니다. 분산에 대해서만 불편이며, 제곱근을 취하면 작게 추정됩니다. 다만 관례적으로 \(N-1\)을 쓴 값을 표본 표준편차라고 합니다.