3 Inseok Kong Schedule

Q-71. Frequentist 와 Bayesian의 차이는 무엇인가?

빈도주의는 파라미터를 고정된 값으로 보고 데이터의 반복 추출에서 확률을 정의하며, 베이즈주의는 파라미터의 불확실성 자체를 확률 분포로 표현해 사전 믿음을 데이터로 갱신한다.

면접 답변

가장 큰 차이는 확률을 무엇으로 해석하느냐와 파라미터를 어떻게 보느냐입니다. 빈도주의는 확률을 반복 시행에서의 장기적인 빈도로 보고, 파라미터는 알려지지 않았지만 고정된 값으로 다룹니다. 베이즈주의는 확률을 불확실성의 정도로 보고, 파라미터에도 분포를 두어 사전 분포를 데이터로 갱신해 사후 분포를 얻습니다. 예를 들어 동전을 10번 던져 앞면이 7번 나오면, 빈도주의는 최대우도추정으로 0.7이라는 점추정치와 신뢰구간을 제시합니다. 베이즈주의는 균등 사전 분포에서 시작해 사후 분포 Beta(8, 4)를 구하고, 앞면 확률이 0.5보다 클 확률이 약 89%라고 직접 말할 수 있습니다. 머신러닝에서는 MLE와 MAP의 차이로 자주 나타나며, 데이터가 많아지면 대체로 두 결론이 비슷해집니다.

자세한 설명

무엇을 확률 변수로 보는가

데이터를 \(D\), 파라미터를 \(\theta\)라 하자.

구분 빈도주의(frequentist) 베이즈주의(Bayesian)
확률의 의미 반복 시행의 장기 빈도 불확실성의 정도
\(\theta\) 고정된 미지의 상수 분포를 갖는 확률 변수
무작위인 것 데이터와 그로부터 만든 추정량 관측 후에는 \(\theta\)에 대한 믿음
대표 추정 MLE 사후 분포, MAP, 사후 평균
구간 신뢰구간 신용구간(credible interval)
추가 입력 없음 사전 분포 \(p(\theta)\)

베이즈주의의 중심은 다음 갱신 식이다. 각 항의 의미는 Q-39에서 다룬다.

\[p(\theta \mid D) = \frac{p(D \mid \theta)\, p(\theta)}{p(D)}\]

같은 데이터, 다른 진술

동전을 10번 던져 앞면이 7번 나왔다고 하자.

  • 빈도주의: \(\hat{\theta}_{\text{MLE}} = 0.7\)이다. 정규 근사(Wald) 95% 신뢰구간은 \(0.7 \pm 1.96\sqrt{0.21/10} = (0.416, 0.984)\)이다.
  • 베이즈주의: 사전 분포 \(\text{Beta}(1, 1)\)에서 사후 분포 \(\text{Beta}(8, 4)\)를 얻는다. 사후 평균은 \(8/12 \approx 0.667\), 95% 신용구간은 약 \((0.390, 0.891)\), \(P(\theta > 0.5 \mid D) \approx 0.887\)이다.

신뢰구간의 95%는 절차의 성질이다. 같은 절차를 반복하면 만들어진 구간의 95%가 참값을 포함하도록 설계한다는 뜻이고, 이번 구간에 \(\theta\)가 들어 있을 확률이 95%라는 뜻은 아니다. 신용구간은 사전 분포와 모델을 받아들이는 한 그런 직접적인 해석이 가능하다.

표본이 작으면 근사가 이 설계를 지키지 못할 수도 있다. \(n = 10\), \(\theta = 0.7\)에서 위 Wald 구간의 실제 포함 확률을 정확히 계산하면 약 0.840으로, 명목값 0.95에 못 미친다. 이는 빈도주의 자체의 결함이 아니라 이 근사 구간의 한계이다.

MLE와 MAP

머신러닝에서는 다음 차이로 가장 자주 만난다.

\[\hat{\theta}_{\text{MLE}} = \arg\max_\theta \log p(D \mid \theta), \qquad \hat{\theta}_{\text{MAP}} = \arg\max_\theta \left[\log p(D \mid \theta) + \log p(\theta)\right]\]

\(\log p(\theta)\)가 정규화 항 역할을 한다. 가우시안 사전 분포는 L2 정규화, 라플라스 사전 분포는 L1 정규화에 대응한다. 다만 MAP은 점추정만 내므로 사후 분포 전체를 쓰는 온전한 베이즈 추론과는 다르다.

관련 개념

  • 베이즈 정리: 사전 믿음을 사후 믿음으로 바꾸는 규칙이다. 정리 자체는 두 진영 모두 인정하며, 차이는 \(\theta\)에도 적용하느냐에 있다. Q-34를 참고한다.
  • 켤레 사전 분포: 위 Beta 갱신이 닫힌 형태로 되는 이유이다. Q-62에서 다룬다.
  • 신뢰구간과 p-value: 빈도주의 추론의 대표 도구이다. Q-63, Q-69를 참고한다.
  • 정규화: MAP 관점에서는 사전 분포의 다른 이름이다. Q-90에서 이어진다.
  • 두 접근의 장점: 언제 무엇을 고르는지는 Q-72에서 다룬다.

꼬리 질문

Q. 베이즈 사전 분포가 주관적이라는 비판에는 어떻게 답하나요? 사전 분포를 명시하므로 가정이 드러나고 민감도 분석도 할 수 있다고 답합니다. 빈도주의 분석에도 모델과 검정 선택이라는 판단이 들어갑니다. 그래도 결론이 사전 분포에 크게 좌우된다면 데이터가 부족하다는 신호입니다.

Q. 신뢰구간과 신용구간은 숫자가 같을 수 있나요? 네, 경우에 따라 같거나 매우 가깝습니다. 표본이 크거나 비정보적 사전 분포를 쓸 때 수치가 비슷해질 수 있습니다. 그래도 해석은 다릅니다.

Q. 딥러닝은 빈도주의인가요, 베이즈인가요? 보통의 학습은 교차 엔트로피 최소화, 즉 MLE이고 weight decay를 더하면 MAP으로 해석할 수 있습니다. 파라미터의 분포까지 근사하면 베이즈 신경망이 됩니다.