- 질문 출처: Science Vibe, 머신러닝 면접 질문 모음
면접 답변
빈도주의의 장점은 사전 분포를 정하지 않아도 되고, 계산이 비교적 간단해 큰 데이터로 확장하기 쉬우며, 오류율을 절차의 성질로 관리할 수 있다는 것입니다. 베이즈의 장점은 사전 지식을 자연스럽게 넣을 수 있고, 불확실성을 사후 분포로 표현해 직접적인 확률 진술과 의사결정에 바로 쓸 수 있으며, 표본이 적을 때 추정을 안정시킬 수 있다는 것입니다. 예를 들어 대규모 A/B 테스트나 수백만 건으로 학습하는 모델에는 빈도주의 방식이 실용적입니다. 반면 환자 수가 적은 임상 데이터처럼 과거 지식이 중요하고 불확실성이 결정을 좌우하는 경우에는 베이즈가 잘 맞습니다. 어느 한쪽이 항상 우월한 것은 아니고, 데이터 양과 사전 지식, 계산 비용, 필요한 진술의 형태에 따라 고릅니다.
자세한 설명
두 관점의 정의는 Q-71에서 다루었으므로, 여기서는 실용적인 장단을 비교한다. 각 장점은 그대로 상대의 단점과 맞물린다.
| 기준 | 빈도주의 | 베이즈 |
|---|---|---|
| 사전 지식 | 넣지 않아 판단이 하나 줄어듦 | 사전 분포로 명시적으로 반영 |
| 계산 | 최적화 한 번으로 끝나는 경우가 많음 | MCMC나 변분 추론이 필요한 경우가 많음 |
| 보장 | 제1종 오류율, 포함 확률 등 절차의 성질 | 모델과 사전 분포가 맞다는 가정 아래 일관된 믿음 갱신 |
| 불확실성 표현 | 신뢰구간, p-value (해석에 주의 필요) | 사후 분포에서 원하는 확률을 직접 계산 |
| 작은 표본 | 추정이 불안정하거나 근사가 부정확할 수 있음 | 사전 분포가 안정화 (잘못되면 편향) |
| 순차 갱신 | 중간 확인 시 오류율 보정 필요 | 사후 분포를 다음 사전 분포로 사용 |
| 계층 구조 | 혼합 효과 모형 등으로 가능 | 계층 모형으로 자연스럽게 표현 |
사전 분포의 효과: 수치 예
앞면 확률 \(\theta\)를 추정한다. 동전이라 공정할 것이라는 강한 믿음을 \(\text{Beta}(20, 20)\)로 표현하고, 균등 사전 분포 \(\text{Beta}(1, 1)\)과 비교한다. Beta 사전 분포에 앞면 \(h\)번, 뒷면 \(t\)번을 관측하면 사후 분포는 \(\text{Beta}(\alpha + h, \beta + t)\)이다.
| 관측 | MLE와 95% Wald 구간 | 균등 사전 분포: 사후 평균, 95% 구간 | \(\text{Beta}(20, 20)\): 사후 평균, 95% 구간 |
|---|---|---|---|
| 7/10 | 0.700, (0.416, 0.984) | 0.667, (0.390, 0.891) | 0.540, (0.402, 0.675) |
| 70/100 | 0.700, (0.610, 0.790) | 0.696, (0.604, 0.781) | 0.643, (0.562, 0.720) |
표에서 두 가지를 읽을 수 있다.
- 표본이 적을수록 사전 분포의 영향이 크다. 사전 지식이 맞다면 큰 도움이 되고, 틀렸다면 그만큼 추정이 끌려간다. 이것이 장점과 위험의 같은 뿌리이다.
- 데이터가 늘면 사전 분포의 영향이 줄어든다. 사전 분포가 참값 주변에 양의 밀도를 두는 등 정칙 조건을 만족하면, 사후 분포는 표본이 커질수록 MLE 중심의 정규 분포에 가까워진다. 이를 Bernstein-von Mises 정리라 한다.
머신러닝 현장에서
- 빈도주의적 도구가 지배적인 곳: 대규모 신경망 학습은 대체로 MLE나 MAP 점추정이다. 정확한 사후 분포 계산이 비싸기 때문이다.
- 베이즈가 빛나는 곳: 평가 한 번이 비싼 하이퍼파라미터 튜닝(베이즈 최적화), 가우시안 프로세스, 잠재 변수 추론, 작은 표본의 계층 모형이다.
- 섞어 쓰는 경우: 베이즈 모델을 만들고 포함 확률을 빈도주의 방식으로 점검하거나, 앙상블로 불확실성을 근사한다. 실무에서 둘은 배타적인 선택이 아니다.
관련 개념
- 켤레 사전 분포: 계산 부담 없이 위와 같은 갱신을 가능하게 한다. Q-62를 참고한다.
- A/B 테스트: 빈도주의 검정이 흔히 쓰이고, 베이즈 방식의 대안도 있다. Q-19에서 다룬다.
- 변분 추론: 어려운 사후 분포를 근사해 베이즈의 계산 비용을 낮춘다. Deep Learning 18에서 잠재 변수 모델과 함께 다룬다.
- 의사결정 이론: 사후 분포에 손실을 결합해 행동을 정한다. Q-76을 참고한다.
꼬리 질문
Q. 데이터가 충분히 많으면 무엇을 쓰든 상관없나요? 모델이 고정되어 있고 정칙 조건이 맞으면 결론이 비슷해집니다. 다만 파라미터 수가 데이터와 함께 늘거나 사전 분포가 일부 파라미터를 지배하는 모델에서는 차이가 남을 수 있고, 계산 비용의 차이도 남습니다.
Q. A/B 테스트 결과를 자주 들여다보면 무슨 문제가 있나요? 고정 표본을 가정한 빈도주의 검정에서 유의해질 때 멈추면 제1종 오류율이 명목값보다 커집니다. 순차 검정으로 보정해야 합니다. 베이즈의 사후 확률 계산은 정지 규칙의 영향을 받지 않지만, 그렇다고 빈도주의적 오류율까지 보장되는 것은 아닙니다.
Q. 사전 정보가 전혀 없으면 베이즈를 쓸 이유가 없나요? 아닙니다. 약한 사전 분포만으로도 추정을 안정시키고 사후 분포로 불확실성을 전파하는 이점은 남습니다. 계층 모형은 사전 분포 자체도 데이터에서 함께 추정합니다.