3 Inseok Kong Schedule

Q-37. Naive Bayes는 왜 'Naive'라고 불리나요?

클래스가 주어졌을 때 모든 특성이 서로 조건부 독립이라는, 현실에서는 거의 성립하지 않는 단순한 가정을 두기 때문에 Naive라고 부른다.

면접 답변

클래스가 주어지면 모든 특성이 서로 독립이라고 가정하기 때문입니다. 현실의 특성은 대부분 서로 관련되어 있으니 이 가정은 지나치게 단순하고, 그래서 ‘순진하다(naive)’고 부릅니다. 이 가정을 두는 이유는 특성 간 결합 분포를 추정할 필요가 없어져, 추정할 파라미터 수가 지수적으로 줄어들기 때문입니다. 예를 들어 스팸 분류에서 ‘free’와 ‘winner’는 함께 등장하는 경향이 있지만, 나이브 베이즈는 각 단어의 확률을 따로 추정해 곱합니다. 가정이 틀려서 확률값은 과신하는 경향이 있지만, 분류는 가장 큰 클래스만 맞히면 되므로 텍스트 분류 등에서 여전히 잘 동작하는 경우가 많습니다.

자세한 설명

가정

클래스 \(y\)와 특성 \(x_1, \dots, x_d\)에 대해 베이즈 정리를 쓰면 다음과 같다.

\[P(y \mid x_1, \dots, x_d) \propto P(y)\,P(x_1, \dots, x_d \mid y)\]

Naive 가정은 가능도를 다음과 같이 분해한다.

\[P(x_1, \dots, x_d \mid y) = \prod_{j=1}^{d} P(x_j \mid y)\]

예측은 \(\hat{y} = \arg\max_y P(y)\prod_j P(x_j \mid y)\)로 한다. 흔히 “특성이 독립”이라고 줄여 말하지만, 정확히는 클래스가 주어졌을 때의 조건부 독립(conditional independence)이다. 조건 없이 보면 특성들은 상관되어 있을 수 있다. 스팸 메일에 함께 많이 나오는 두 단어는 전체 메일에서는 상관되지만, 모델은 “스팸이라는 것을 안 뒤에는 서로 정보를 주지 않는다”고 가정한다.

왜 이 가정을 두는가

이진 특성이 \(d\)개일 때 필요한 파라미터 수는 클래스마다 다음과 같다.

  파라미터 수 \(d = 30\)
가정 없음 \(2^d - 1\) 1,073,741,823
Naive 가정 \(d\) 30

가정이 없으면 데이터로 추정하는 것이 사실상 불가능하다. 가정을 두면 단어별 빈도만 세어도 학습이 끝난다.

예제: 과신이 생기는 과정

\(P(\text{spam}) = 0.4\), \(P(\text{free} \mid \text{spam}) = 0.8\), \(P(\text{free} \mid \text{ham}) = 0.1\)이라고 하자. 메일에 ‘free’가 있을 때의 사후 확률은 다음과 같다.

\[P(\text{spam} \mid \text{free}) = \frac{0.4 \times 0.8}{0.4 \times 0.8 + 0.6 \times 0.1} = \frac{0.32}{0.38} \approx 0.842\]

이제 같은 내용의 특성이 하나 더 복제되어 있다고 하자. 새 정보는 없으므로 답은 그대로 0.842여야 한다. 하지만 Naive 가정은 두 특성을 독립된 증거로 곱한다.

\[\frac{0.4 \times 0.8^2}{0.4 \times 0.8^2 + 0.6 \times 0.1^2} = \frac{0.256}{0.262} \approx 0.977\]

상관된 특성이 많을수록 확률이 0이나 1 쪽으로 치우친다. 다만 예측 클래스는 여전히 spam으로 같다. 나이브 베이즈의 예측 확률은 잘 보정되어 있지 않을 수 있어도, 클래스 판단은 맞을 수 있는 이유이다.

관련 개념

  • 베이즈 정리: 나이브 베이즈의 출발점이다. Q-34를 참고한다.
  • 라플라스 스무딩(Laplace smoothing): 학습에 없던 단어 때문에 곱 전체가 0이 되는 것을 막기 위해 빈도에 작은 값을 더한다. 나이브 베이즈 글에서 다룬다.
  • 생성 모델과 판별 모델: 나이브 베이즈는 \(P(x \mid y)\)를 모델링하는 생성 모델이고, 로지스틱 회귀는 \(P(y \mid x)\)를 직접 모델링한다. GDA 글에서 비교한다.
  • 확률 보정(calibration): 예측 확률이 실제 빈도와 맞도록 사후 조정하는 작업이다. 확률값 자체를 쓸 때 필요하다.

꼬리 질문

Q. 실제 계산에서 확률을 곱하지 않고 로그를 더하는 이유는 무엇인가요? 작은 확률을 많이 곱하면 수치 언더플로(underflow)가 생기기 때문입니다. 로그는 단조 증가 함수이므로 \(\arg\max\)의 결과가 바뀌지 않습니다.

Q. 연속형 특성은 어떻게 다루나요? 각 클래스 안에서 특성별로 가우시안을 맞추는 Gaussian Naive Bayes를 쓰거나, 구간으로 이산화합니다.

Q. 나이브 베이즈와 GDA는 어떤 관계인가요? GDA의 공분산 행렬이 대각 행렬이면 특성이 클래스 조건부 독립이 되므로, 클래스끼리 분산을 공유하는 Gaussian Naive Bayes와 같아집니다.