3 Inseok Kong Schedule

Q-55. Gaussian Distribution에서 MLE와 Sample Variance 중에 어떤 걸 사용해야 하나요?

정답은 목적에 달려 있으며, 불편성이 필요하면 N-1, 우도 기반 모델과의 일관성이 필요하면 N(MLE), 정규 데이터에서 MSE가 기준이면 N+1이 최선이고, N이 크면 셋은 거의 같아진다.

면접 답변

어느 하나가 항상 옳은 것은 아니고 목적에 따라 다릅니다. 평균은 둘 다 표본 평균으로 같고, 차이는 분산의 분모입니다. MLE는 N으로 나누어 작게 치우치고, 표본 분산은 N-1로 나누어 불편합니다. 그런데 평균 제곱 오차를 기준으로 하면 오히려 MLE가 표본 분산보다 낫고, 정규 분포에서는 N+1로 나누는 것이 가장 낫습니다. 예를 들어 N이 5이고 σ²이 1이면 MSE가 N-1일 때 0.5, N일 때 0.36, N+1일 때 약 0.33입니다. 그래서 평균의 신뢰구간이나 t 검정처럼 추론을 하는 경우에는 표본 분산을 쓰고, GMM처럼 우도를 최적화하는 모델의 일부라면 MLE를 쓰는 것이 자연스럽습니다. 표본이 충분히 크면 셋의 차이는 거의 없어서 실무에서는 큰 문제가 되지 않습니다.

자세한 설명

MLE 유도

i.i.d. 표본 \(x_1, \dots, x_N \sim \mathcal{N}(\mu, \sigma^2)\)의 로그 우도는 다음과 같다.

\[\ell(\mu, \sigma^2) = -\frac{N}{2}\log(2\pi\sigma^2) - \frac{1}{2\sigma^2}\sum_{i=1}^{N} (x_i - \mu)^2\]

\(\mu\)와 \(\sigma^2\)로 각각 미분해 0으로 두면 다음을 얻는다.

\[\hat{\mu}_{\text{MLE}} = \bar{x}, \qquad \hat{\sigma}^2_{\text{MLE}} = \frac{1}{N}\sum_{i=1}^{N} (x_i - \bar{x})^2\]

세 분모의 비교

\(T = \sum_i (x_i - \bar{x})^2\)이라 하자. 정규 데이터이면 \(T / \sigma^2\)은 자유도 \(N - 1\)인 카이제곱 분포를 따르므로, 추정량 \(T / d\)에 대해 다음이 성립한다.

\[\text{Bias} = \sigma^2\left(\frac{N - 1}{d} - 1\right), \qquad \text{Var} = \frac{2(N - 1)\sigma^4}{d^2}\]

MSE = Bias² + Var를 \(d\)에 대해 최소화하면 \(d = N + 1\)이다. \(\sigma^2 = 1\)로 두었을 때의 이론값은 다음과 같고, 400,000회 시뮬레이션과 0.003 이내로 일치했다.

\(N\) 분모 Bias Var MSE
5 \(N - 1\) (표본 분산) 0 0.5 0.5
5 \(N\) (MLE) -0.2 0.32 0.36
5 \(N + 1\) -0.3333 0.2222 0.3333
10 \(N - 1\) 0 0.2222 0.2222
10 \(N\) -0.1 0.18 0.19
10 \(N + 1\) -0.1818 0.1488 0.1818
100 \(N - 1\) 0 0.0202 0.0202
100 \(N\) -0.01 0.0198 0.0199
100 \(N + 1\) -0.0198 0.0194 0.0198

MSE of variance estimators dividing by N-1, N and N+1 against sample size, converging as N grows 정규 데이터에서 분모별 MSE. 선은 이론값, 점은 200,000회 시뮬레이션 값이다. \(N\)이 커지면 세 곡선이 겹친다.

언제 무엇을 쓰는가

목적 선택 이유
평균의 신뢰구간, t 검정 \(N - 1\) t 분포 결과가 이 정의를 전제로 한다
분산 자체를 편향 없이 추정, 여러 추정값의 평균 \(N - 1\) 평균을 내도 편향이 쌓이지 않는다
GMM, GDA, EM 같은 우도 기반 모델 \(N\) 전체 우도를 최대화하는 일관된 절차의 일부이다
로그 우도, AIC 비교 \(N\) 파라미터가 우도를 최대화해야 정의와 맞는다
정규 가정 아래 단일 추정의 제곱 오차 최소화 \(N + 1\) 이 기준의 최적값이지만 실무에서는 드물게 쓴다

\(N + 1\)은 정규성에 의존한다

불편성과 달리 MSE 최적 분모는 분포에 달려 있다. 초과 첨도(excess kurtosis)가 \(\kappa\)이면 \(T / d\) 꼴에서 MSE를 최소화하는 분모는 \(d^* = N + 1 + \kappa(N - 1)/N\)이다. 라플라스 분포(\(\kappa = 3\)), \(N = 10\)이면 \(d^* = 13.7\)이고, 시뮬레이션으로도 약 13.71을 얻었다. 꼬리가 두꺼울수록 더 크게 나누어 축소해야 한다.

또한 MSE는 과소 추정과 과대 추정을 같게 벌한다. 분산을 작게 잡으면 위험을 과소평가하는 상황에서는 \(N + 1\)의 음의 편향이 바람직하지 않을 수 있다.

관련 개념

  • N-1의 근거: 불편성 유도는 Q-54에서 다룬다.
  • 가우시안 MLE의 활용: GDA와 GMM이 이 추정을 사용한다.
  • 불편 추정의 한계: 불편한 추정량이 항상 좋은 것은 아니다. Q-56에서 다룬다.

꼬리 질문

Q. MLE의 편향은 왜 생기나요? \(\mu\)를 모른 채 같은 데이터로 함께 추정해서 \(\bar{x}\)가 데이터에 맞춰지기 때문입니다. \(\mu\)를 알고 그 값을 쓰면 \(N\)으로 나눈 MLE는 불편입니다.

Q. 그 편향을 줄이는 MLE 계열의 방법이 있나요? 제한 최대우도(REML)가 있습니다. 평균 효과를 제거한 데이터의 우도를 최대화하며, 이 단순한 모델에서는 \(N - 1\) 분모를 줍니다.

Q. 고차원에서도 차이가 작나요? 아닙니다. 공분산 행렬에서 차원 \(p\)가 \(N\)에 가깝거나 더 크면 \(N\) 분모든 \(N-1\) 분모든 추정이 불안정하고, \(p \ge N\)이면 역행렬도 존재하지 않습니다. 이때는 분모보다 축소(shrinkage)나 정규화가 중요합니다.