3 Inseok Kong Schedule

Q-57. Unbiased Estimation의 장점은 무엇인가요?

불편 추정은 체계적 오차가 없어 평균을 낼수록 오차가 0으로 줄어들고, 결과 해석과 이론적 보장이 쉬우며, SGD와 몬테카를로 방법의 수렴을 뒷받침한다.

면접 답변

불편 추정의 가장 큰 장점은 체계적인 오차가 없어서 독립적인 추정을 평균 낼수록 오차를 얼마든지 줄일 수 있다는 것입니다. 편향 추정량은 평균을 아무리 내도 편향만큼의 오차가 남습니다. 예를 들어 여러 실험의 결과를 합치는 메타 분석이나 미니배치 기울기의 누적에서는 작은 편향도 쌓여 결론을 왜곡할 수 있습니다. 또한 사전 가정 없이 평균적으로 참값을 겨냥한다는 점 덕분에 결과를 설명하기 쉽고, 효과 크기를 보고할 때 객관적인 기준이 됩니다. 가우스-마르코프 정리나 크라메르-라오 하한처럼 최적성을 따지는 이론도 사용할 수 있습니다. 다만 한 번의 추정에서는 편향 추정량보다 오차가 클 수 있으므로, 장점이 살아나는 상황인지를 함께 봐야 합니다.

자세한 설명

장점 1: 평균을 내면 오차가 사라진다

서로 독립인 추정값 \(\hat{\theta}_1, \dots, \hat{\theta}_K\)의 평균을 생각하자. 각 추정값의 편향이 \(b\), 분산이 \(v\)이면 다음과 같다.

\[\text{MSE}\left(\frac{1}{K}\sum_{k=1}^{K} \hat{\theta}_k\right) = b^2 + \frac{v}{K}\]

분산은 \(K\)와 함께 줄지만 편향은 그대로이다. 불편 추정량 A(\(b = 0\), \(v = 1\))와 편향 추정량 B(\(b = 0.2\), \(v = 0.25\))를 예로 들어 보자.

\(K\) A의 MSE B의 MSE 더 나은 쪽
1 1 0.29 B
18 0.0556 0.0539 B
19 0.0526 0.0532 A
100 0.01 0.0425 A
\(\infty\) 0 0.04 A

\(K = 100\)의 값은 100,000회 시뮬레이션으로도 확인했다(0.0100, 0.0425). 한 번의 추정에서는 B가 낫지만 데이터 조각을 합치는 상황에서는 A가 이긴다. 나뉜 데이터에서 계산한 추정값을 합치는 경우나 메타 분석이 이런 구조이다. 편향이 낮은 깊은 트리를 평균 내는 Bagging도 원리가 비슷하다. 다만 부트스트랩 표본의 트리들은 완전히 독립이 아니므로 분산이 \(v/K\)만큼 줄지는 않는다.

장점 2: 확률적 최적화의 기반

미니배치 기울기는 샘플을 균일하게 뽑으면 전체 기울기의 불편 추정량이다. 그래서 개별 스텝은 노이즈가 있어도 평균적으로 올바른 방향으로 움직이고, 학습률을 적절히 줄이면 수렴을 보일 수 있다(Deep Learning 4, Q-95). 정책 경사의 REINFORCE 추정량도 불편이지만 분산이 커서, 불편성을 유지한 채 기준선(baseline)으로 분산을 줄인다(Deep Learning 15).

장점 3: 최적성 이론을 쓸 수 있다

MSE를 모든 추정량에 대해 비교하면 균일하게 가장 좋은 추정량은 일반적으로 존재하지 않는다. 항상 상수 5라고 답하는 추정량조차 \(\theta = 5\)에서는 오차가 0이기 때문이다. 불편 추정량으로 범위를 제한하면 이런 경우가 걸러지고, 비교가 의미를 갖는다.

  • 크라메르-라오 하한(Cramér-Rao bound): 조건이 맞을 때 불편 추정량의 분산은 \(1 / (n I(\theta))\) 이상이다. \(I(\theta)\)는 표본 하나의 피셔 정보이다.
  • 가우스-마르코프 정리(Gauss-Markov theorem): 오차의 평균이 0이고 등분산이며 무상관이면, 선형 불편 추정량 중 OLS의 분산이 가장 작다(BLUE).

장점 4: 해석과 보고가 쉽다

인과 효과처럼 수치 자체가 결론인 경우, 무작위 실험의 평균 차이가 불편하다는 사실은 추정이 어느 방향으로도 치우치지 않았다는 근거가 된다. 축소 추정량은 사전 지식이나 조절값에 따라 방향이 달라지므로, 작은 효과를 일관되게 과소 보고할 수 있다. 추정과 함께 쓰는 표준오차와 신뢰구간도 편향이 없을 때 해석이 단순하다.

한계

이 장점들은 조건이 있다. 평균의 이득은 추정값들이 독립일 때 온전하고, 단 한 번의 추정에서 오차를 줄이는 것이 목표라면 MSE가 작은 편향 추정량이 나을 수 있다. 이 반대쪽 논의는 Q-56에서 다룬다.

관련 개념

  • 불편 추정: 정의와 일치성과의 차이는 Q-51에서 다룬다.
  • 큰수의 법칙: 불편 추정의 평균이 참값으로 가는 근거이다. Q-46에서 다룬다.
  • A/B 테스트: 무작위 배정이 효과 추정의 불편성을 보장한다. Q-19에서 다룬다.

꼬리 질문

Q. 편향이 있는 기울기로도 학습이 되나요? 됩니다. 그래디언트 클리핑이나 잘린 시간 역전파(truncated BPTT)는 편향이 있어도 실제로 잘 쓰입니다. 다만 수렴 지점과 이론적 보장이 달라질 수 있습니다.

Q. 가우스-마르코프 정리가 있으니 OLS가 최선인가요? 선형 불편 추정량이라는 범위 안에서만 그렇습니다. 그 범위를 벗어나면 릿지처럼 MSE가 더 작은 편향 추정량이 존재합니다.