3 Inseok Kong Schedule

Q-53. Sample Variance란 무엇인가요?

표본 분산은 표본 평균으로부터의 제곱 편차를 N-1로 나눈 값으로, 모집단 분산을 표본으로 추정하는 대표적인 불편 추정량이다.

면접 답변

표본 분산은 표본의 값들이 표본 평균에서 얼마나 퍼져 있는지를 재는 값으로, 제곱 편차의 합을 N-1로 나누어 구합니다. 모집단 분산은 보통 알 수 없으므로 이를 표본으로 추정하는 것이 목적입니다. 모집단 평균 대신 표본 평균을 쓰면 퍼짐이 작게 측정되는데, N-1로 나누면 그 부분이 보정되어 불편 추정량이 됩니다. 예를 들어 2, 4, 4, 4, 5, 5, 7, 9의 평균은 5이고 제곱 편차의 합은 32이므로 표본 분산은 32를 7로 나눈 약 4.57입니다. 이 값은 데이터 하나하나의 퍼짐을 나타내므로, 표본 평균의 불확실성을 나타내는 평균의 분산 σ²/N과는 구분해야 합니다.

자세한 설명

정의

표본 \(x_1, \dots, x_N\)의 평균을 \(\bar{x} = \frac{1}{N}\sum_i x_i\)라 할 때 표본 분산은 다음과 같다.

\[s^2 = \frac{1}{N - 1}\sum_{i=1}^{N} (x_i - \bar{x})^2\]

\(N - 1\)로 나누는 것을 베셀 보정(Bessel’s correction)이라 한다. 이유는 Q-54에서 다룬다. 또한 교재에 따라 \(N\)으로 나눈 값을 표본 분산이라 부르기도 하므로, 분모를 함께 확인하는 것이 안전하다.

계산 예

데이터가 2, 4, 4, 4, 5, 5, 7, 9이면 \(N = 8\), \(\bar{x} = 5\), 제곱 편차의 합은 32이다.

값 식 결과 의미
표본 분산 \(s^2\) \(32 / 7\) 약 4.571 모집단 분산의 불편 추정값
\(N\)으로 나눈 분산 \(32 / 8\) 4 이 8개가 전체일 때의 분산, 정규 모형의 MLE
평균 분산의 추정값 \(s^2 / 8\) 약 0.571 \(\bar{x}\)의 불확실성

마지막 값의 제곱근이 표준오차로, 신뢰구간에 쓰이는 값이다.

import numpy as np

x = np.array([2, 4, 4, 4, 5, 5, 7, 9])
print(x.var())        # 4.0  (기본값 ddof=0, N으로 나눔)
print(x.var(ddof=1))  # 4.571...  (N-1로 나눔)

NumPy의 var는 기본적으로 \(N\)으로, pandas의 var는 기본적으로 \(N - 1\)로 나눈다. 같은 데이터에서 결과가 다르게 나오는 흔한 원인이다.

분포와 정밀도

i.i.d. 정규 표본이면 \((N - 1)s^2 / \sigma^2\)은 자유도 \(N - 1\)인 카이제곱 분포를 따르고, \(\text{Var}(s^2) = 2\sigma^4 / (N - 1)\)이다. 즉 작은 표본에서는 분산 추정값 자체가 크게 흔들린다. \(N = 5\)이면 \(s^2\)의 표준편차가 \(\sigma^2\)의 약 71%이다.

불편성은 정규성이 필요 없지만, 이 카이제곱 결과는 정규성에 의존한다. 표본 분산은 이상치에도 민감하다. 값 하나가 제곱으로 반영되기 때문이다.

관련 개념

  • 자유도(degrees of freedom): 표본 평균을 고정하면 편차 중 \(N - 1\)개만 자유롭다. Q-54에서 이어진다.
  • MLE와의 비교: 정규 분포의 최대우도 추정은 \(N\)으로 나눈다. Q-55에서 다룬다.
  • 공분산(covariance): 표본 분산을 두 변수로 확장한 것으로, 같은 \(N - 1\) 분모를 쓴다. Q-35에서 다룬다.

꼬리 질문

Q. 표준편차도 표본 분산의 제곱근을 쓰면 불편한가요? 아닙니다. 제곱근이 비선형이어서 \(\sigma\)를 평균적으로 작게 추정합니다. Q-51에서 그 크기를 확인할 수 있습니다.

Q. \(N = 1\)이면 어떻게 되나요? 분모가 0이어서 정의되지 않습니다. 값이 하나뿐이고 모평균도 모르면, 퍼짐에 대한 정보가 없다는 뜻과 일치합니다.