3 Inseok Kong Schedule

Q-54. Variance를 구할 때 N 대신에 N-1로 나눠주는 이유는 무엇인가요?

모평균 대신 표본 평균을 쓰면 제곱 편차의 합이 평균적으로 (N-1)σ²이 되므로, N-1로 나누어야 분산 추정량의 기댓값이 참값 σ²과 같아진다.

면접 답변

N-1로 나누는 이유는 모평균을 모르고 표본 평균으로 대신할 때 분산 추정량을 불편하게 만들기 위해서입니다. 표본 평균은 바로 그 표본에 대해 제곱 편차의 합을 최소로 만드는 값이라서, 참 평균을 썼을 때보다 편차가 작게 측정됩니다. 계산해 보면 제곱 편차 합의 기댓값이 Nσ²가 아니라 (N-1)σ²가 되므로 N-1로 나누어야 정확히 σ²가 나옵니다. 자유도로 설명하면, 평균을 추정하는 데 정보를 하나 썼기 때문에 독립적으로 움직일 수 있는 편차는 N-1개입니다. 예를 들어 분산이 4인 분포에서 5개씩 뽑아 N으로 나누면 평균적으로 3.2가 되고, N-1로 나누면 4가 됩니다. 다만 이것은 불편성을 위한 선택일 뿐이고, 모평균을 알면 N으로 나누는 것이 맞습니다.

자세한 설명

유도

\(X_1, \dots, X_N\)이 i.i.d.이고 평균이 \(\mu\), 분산이 \(\sigma^2\)이라 하자. \(X_i - \mu = (X_i - \bar{X}) + (\bar{X} - \mu)\)로 나누어 제곱해 더하면, \(\sum_i (X_i - \bar{X}) = 0\)이므로 교차항이 사라진다.

\[\sum_{i=1}^{N} (X_i - \mu)^2 = \sum_{i=1}^{N} (X_i - \bar{X})^2 + N(\bar{X} - \mu)^2\]

이 식이 핵심이다. 표본 평균을 기준으로 한 합은 참 평균을 기준으로 한 합보다 항상 작거나 같다. 기댓값을 취하면 왼쪽은 \(N\sigma^2\)이고, \(\mathbb{E}[(\bar{X} - \mu)^2] = \sigma^2 / N\)이므로 다음을 얻는다.

\[\mathbb{E}\left[\sum_{i=1}^{N} (X_i - \bar{X})^2\right] = N\sigma^2 - N \cdot \frac{\sigma^2}{N} = (N - 1)\sigma^2\]

따라서 \(N - 1\)로 나눈 값의 기댓값이 \(\sigma^2\)이다. \(N\)으로 나누면 기댓값은 \(\frac{N-1}{N}\sigma^2\)이고 편향은 \(-\sigma^2 / N\)이다. 줄어든 \(\sigma^2\)은 표본 평균 자체의 불확실성이 차지하던 몫이다.

유도에는 독립성과 유한한 분산만 썼고 정규성은 필요 없다.

자유도로 보기

편차 \(X_i - \bar{X}\)는 합이 0이어야 하므로, \(N - 1\)개를 정하면 마지막 하나는 자동으로 정해진다. 회귀에서도 같다. 절편을 포함해 계수 \(p\)개를 추정하면 잔차 분산의 불편 추정량은 잔차 제곱합을 \(N - p\)로 나눈 값이다. 표본 분산은 \(p = 1\)인 경우이다.

시뮬레이션

\(\mathcal{N}(0, 2^2)\)에서 5개씩 뽑는 실험을 1,000,000번 반복해 평균을 냈다.

추정 방식 이론값 시뮬레이션 평균
표본 평균 기준, \(N\)으로 나눔 3.2 3.199
표본 평균 기준, \(N - 1\)로 나눔 4 3.999
참 평균 기준, \(N\)으로 나눔 4 3.999

주의할 점

  • \(\mu\)를 알면 \(N\)으로 나눈다. 빠진 자유도가 없기 때문에 표의 세 번째 행이 불편이다.
  • 표본이 곧 모집단이면 \(N\)으로 나눈다. 추정하는 것이 아니라 그 집단의 분산을 계산하는 것이기 때문이다.
  • 불편 추정이 곧 최소 오차는 아니다. MSE 기준으로는 정규 데이터에서 \(N - 1\)이 최선이 아니다. Q-55에서 비교한다.
  • \(N\)이 크면 차이가 미미하다. \(N = 1000\)에서 두 값의 차이는 약 0.1%이다.

관련 개념

  • 표본 분산: 이 보정을 적용한 추정량이다. Q-53에서 다룬다.
  • 불편 추정: 이 보정이 달성하려는 성질이다. Q-51에서 다룬다.
  • 잔차 분산: 회귀에서의 같은 보정이다. 잔차 제곱합은 Q-66에서 다룬다.

꼬리 질문

Q. 왜 하필 표본 평균 기준의 합이 더 작나요? \(\sum_i (X_i - c)^2\)은 \(c = \bar{X}\)에서 최소가 되기 때문입니다. 위의 항등식이 \(c = \mu\)일 때 그 차이가 정확히 \(N(\bar{X} - \mu)^2\)임을 보여 줍니다.

Q. 그럼 표준편차도 \(N-1\)이면 불편한가요? 아닙니다. 분산에 대해서만 불편이며, 제곱근을 취하면 작게 추정됩니다. 다만 관례적으로 \(N-1\)을 쓴 값을 표본 표준편차라고 합니다.