면접 답변
베이즈 정리는 조건부 확률의 방향을 뒤집는 공식으로, 어떤 증거를 관측했을 때 가설이 참일 확률을 사전 확률과 가능도로 계산합니다. 우리가 알고 싶은 것은 “이 증거를 봤을 때 가설이 맞을 확률”인데, 실제로 추정하기 쉬운 것은 “가설이 맞을 때 이 증거가 나올 확률”인 경우가 많기 때문에 유용합니다. 사후 확률은 가능도와 사전 확률의 곱에 비례하고, 증거의 전체 확률로 나누어 정규화합니다. 예를 들어 유병률이 1%인 질병에 민감도 99%, 위양성률 5%인 검사를 쓰면, 양성이 나와도 실제 환자일 확률은 약 17%에 불과합니다. 환자가 워낙 드물어서 건강한 사람에게서 나오는 위양성이 더 많기 때문입니다. 머신러닝에서는 나이브 베이즈 분류기와 MAP 추정, 베이지안 추론의 기반이 됩니다.
자세한 설명
정의와 유도
두 사건 \(A\), \(B\)에 대해 \(P(B) > 0\)이면 다음이 성립한다.
\[P(A \mid B) = \frac{P(B \mid A)\,P(A)}{P(B)}\]- \(P(A)\): 사전 확률(prior). 증거를 보기 전 가설 \(A\)에 대한 믿음이다.
- \(P(B \mid A)\): 가능도(likelihood). 가설이 참일 때 증거 \(B\)가 관측될 확률이다.
- \(P(A \mid B)\): 사후 확률(posterior). 증거를 본 뒤 갱신된 믿음이다.
- \(P(B)\): 증거(evidence). 사후 확률의 합이 1이 되도록 맞추는 정규화 상수이다.
유도는 곱셈 규칙 하나면 된다. \(P(A \cap B)\)를 \(P(A \mid B)P(B)\)와 \(P(B \mid A)P(A)\) 두 가지로 쓸 수 있으므로, 둘을 같다고 놓고 \(P(B)\)로 나누면 위 식이 나온다.
분모는 전확률 법칙(law of total probability)으로 계산한다. 가설이 \(A_1, \dots, A_k\)로 서로 겹치지 않고 전체를 덮으면 다음과 같다.
\[P(B) = \sum_{i=1}^{k} P(B \mid A_i)\,P(A_i)\]예제: 검사 양성의 의미
유병률 \(P(D) = 0.01\), 민감도 \(P(+ \mid D) = 0.99\), 위양성률 \(P(+ \mid \neg D) = 0.05\)라고 하자. 여기서 \(D\)는 질병이 있다는 사건, \(+\)는 검사 양성이라는 사건이다.
\[P(D \mid +) = \frac{0.99 \times 0.01}{0.99 \times 0.01 + 0.05 \times 0.99} = \frac{0.0099}{0.0594} = \frac{1}{6} \approx 0.167\]10,000명으로 세어 보면 더 직관적이다.
| 양성 | 음성 | 합계 | |
|---|---|---|---|
| 환자 | 99 | 1 | 100 |
| 비환자 | 495 | 9,405 | 9,900 |
양성 594명 중 환자는 99명이므로 \(99/594 = 1/6\)이다. 민감도 99%와 사후 확률 17%를 혼동하는 실수를 기저율 무시(base rate fallacy)라고 한다.
믿음의 순차적 갱신
오늘의 사후 확률은 다음 증거의 사전 확률이 된다. 위 사람이 두 번째 검사에서도 양성이고, 두 검사 결과가 질병 여부가 주어졌을 때 조건부 독립이라고 가정하면 다음을 얻는다.
\[P(D \mid +, +) = \frac{0.99 \times \tfrac{1}{6}}{0.99 \times \tfrac{1}{6} + 0.05 \times \tfrac{5}{6}} \approx 0.798\]관련 개념
- 조건부 독립(conditional independence): 여러 증거의 가능도를 곱으로 분해할 수 있게 하는 가정이다. 나이브 베이즈의 핵심이다.
- 생성 모델(generative model): \(p(x \mid y)\)와 \(p(y)\)를 학습한 뒤 베이즈 정리로 \(p(y \mid x)\)를 얻는 분류기이다. GDA와 베이즈 규칙에서 다룬다.
- 사전 확률, 가능도, 사후 확률: 각 항의 의미와 파라미터 추정에서의 역할은 Q-39에서 이어진다.
- MAP 추정(maximum a posteriori): 사후 확률을 최대화하는 파라미터를 고르는 방법이다. 분모 \(P(B)\)는 파라미터에 의존하지 않으므로 계산할 필요가 없다.
- 정밀도(precision)와 재현율(recall): 예제에서 \(P(D \mid +)\)는 정밀도, \(P(+ \mid D)\)는 재현율에 해당한다. 베이즈 정리가 둘을 잇는다.
꼬리 질문
Q. 위 검사의 유병률이 10%로 올라가면 사후 확률은 어떻게 되나요? \(0.099 / (0.099 + 0.045) \approx 0.6875\)로 크게 오릅니다. 같은 검사라도 사후 확률은 사전 확률에 크게 좌우됩니다.
Q. 분모 \(P(B)\)를 계산하기 어려우면 어떻게 하나요? 최댓값만 필요하면 MAP처럼 분모를 무시합니다. 분포 전체가 필요하면 켤레 사전 분포, MCMC, 변분 추론(variational inference)을 씁니다.
Q. 빈도주의(frequentist)와 베이지안(Bayesian)의 차이는 무엇인가요? 베이즈 정리 자체는 양쪽 모두 인정하는 확률 정리입니다. 차이는 파라미터를 고정된 미지의 값으로 보느냐, 확률 분포를 부여할 수 있는 대상으로 보느냐에 있습니다.