3 Inseok Kong Schedule

Q-85. Discriminative Model이란 무엇인가?

판별 모델은 입력의 분포를 모델링하지 않고 p(y | x)나 결정 경계를 직접 학습하는 모델로, 예측에 집중하므로 모델 가정이 틀린 상황에서 대체로 강하다.

면접 답변

판별 모델은 입력이 어떻게 생성되는지는 모델링하지 않고, 입력이 주어졌을 때 레이블의 조건부 확률이나 클래스 사이의 경계를 직접 학습하는 모델입니다. 분류에 실제로 필요한 것은 경계뿐이므로, 입력 분포 전체를 추정하지 않아 문제를 더 단순하게 푸는 셈입니다. 로지스틱 회귀, 신경망 분류기, CRF가 대표적이고, 넓은 의미로는 SVM도 포함합니다. 입력 분포에 대한 가정이 적어 가정이 틀린 상황에 강합니다. 다만 가정이 맞다면 생성 모델이 더 적은 표본으로 잘 작동할 수 있습니다. 또한 샘플을 만들 수 없고, 비레이블 데이터나 결측 입력을 다루는 데는 불리합니다. 제 실험에서도 가우시안 데이터의 작은 표본에서는 GDA가 약간 낫고, 이상점이 섞이면 로지스틱 회귀가 훨씬 나았습니다.

자세한 설명

정의

레이블 \(y\), 입력 \(\mathbf{x}\), 파라미터 \(\theta\)에 대해 판별 모델은 \(p_\theta(y \mid \mathbf{x})\)만 학습한다. 조건부 로그 우도를 최대화한다.

\[\hat{\theta} = \arg\max_\theta \sum_{i=1}^{n} \log p_\theta(y_i \mid \mathbf{x}_i)\]

생성 모델은 \(\sum_i \log p_\theta(\mathbf{x}_i, y_i)\)를 최대화한다. \(\log p(\mathbf{x}, y) = \log p(y \mid \mathbf{x}) + \log p(\mathbf{x})\)이므로, 판별 학습은 경계에 필요하지 않은 \(p(\mathbf{x})\) 항을 떼어 내는 것이다.

기준 생성 모델 판별 모델
학습 대상 \(p(\mathbf{x} \mid y)p(y)\) \(p(y \mid \mathbf{x})\) 또는 경계
예시 나이브 베이즈, GDA, HMM 로지스틱 회귀, 신경망, CRF, SVM
입력 분포 가정 필요 불필요
표본이 적고 가정이 맞을 때 유리할 수 있음 추정 분산이 큰 편
가정이 틀렸거나 표본이 많을 때 편향이 남음 대체로 유리
비레이블, 결측 입력, 샘플 생성 다룰 수 있음 직접 다루기 어려움

GDA와 로지스틱 회귀

두 클래스의 입력이 공분산이 같은 가우시안이면 사후 확률이 정확히 로지스틱 형태가 된다. 즉 GDA의 가정은 로지스틱 회귀의 가정보다 강하다. 이 유도는 Machine Learning 5에서 다룬다. 같은 함수 형태를 다른 방식으로 적합하기 때문에 직접 비교하기 좋다.

실험

특징 10개 중 3개만 양성 클래스에서 평균이 1 이동하는 가우시안 데이터로 두 모델을 비교했다. 이 경우 베이즈 오차는 약 0.193이다. 두 번째 조건에서는 샘플의 5%를, 정보 있는 3개 축에서 자기 클래스 방향으로 25만큼 더 밀었다. 이 샘플은 분류하기 쉽지만 평균과 공분산의 추정에는 크게 작용한다. 두 모델 모두 작은 릿지 항 \(10^{-3}\)을 썼다. 오차는 같은 조건에서 뽑은 테스트 표본 20,000개로 쟀고(이상점 조건의 오차가 0.193보다 낮아질 수 있는 이유이다), \(n < 1000\)은 200회, 그 이상은 50회 평균했다.

학습 표본 \(n\) 가우시안: GDA 가우시안: 로지스틱 이상점 5%: GDA 이상점 5%: 로지스틱
20 0.3232 0.3244 0.4208 0.3195
50 0.2463 0.2576 0.4361 0.2488
200 0.2068 0.2080 0.4249 0.1982
1,000 0.1958 0.1959 0.3732 0.1859
5,000 0.1937 0.1937 0.2871 0.1839
  • 가정이 맞으면 GDA는 \(n = 50\)에서 분명히 앞서고, 표본이 커지면 차이가 사라진다.
  • 가정이 깨지면 GDA는 5,000개에서도 크게 뒤진다. 로지스틱 회귀는 분류하기 쉬운 샘플에 작은 기울기만 주므로 이런 이상점의 영향을 덜 받는다.

한 번의 합성 실험이므로 경향을 보여 주는 예일 뿐이다. Ng와 Jordan의 2001년 논문도 나이브 베이즈와 로지스틱 회귀를 비교해, 생성 모델이 더 빨리 점근 성능에 도달하고 판별 모델의 점근 오차가 더 낮을 수 있음을 보였다.

용어 구분

“판별”이 들어가는 말이 여럿이라 혼동하기 쉽다. 이 글의 판별 모델은 조건부 확률 또는 경계를 학습하는 넓은 범주이다. 확률 없이 점수만 주는 함수는 Q-86의 판별 함수이고, 선형 판별 분석(LDA)은 이름과 달리 가우시안을 가정하는 생성 모델이다.

관련 개념

  • 생성 모델: 비교 대상이다. Q-84에서 다룬다.
  • 로지스틱 회귀: 판별 모델의 기본형이다. Machine Learning 3을 참고한다.
  • 교차 엔트로피 손실: 조건부 로그 우도의 음수이다. Q-83에서 다룬다.
  • SVM: 마진으로 경계를 직접 학습한다. Q-107을 참고한다.

꼬리 질문

Q. 그렇다면 항상 판별 모델을 쓰면 되나요? 분류 정확도만 보면 표본이 충분할 때 판별 모델이 기본 선택인 경우가 많습니다. 레이블이 적거나 샘플 생성, 결측 입력 처리가 필요하면 생성 모델이 유리합니다.

Q. 판별 모델의 확률은 믿을 수 있나요? 조건부 우도로 학습한 신경망도 과신하는 경우가 있어 보정을 확인해야 합니다. SVM의 점수는 애초에 확률이 아니므로 Platt 스케일링 같은 후처리가 필요합니다.

Q. 의사결정나무는 판별 모델인가요? 입력 분포를 모델링하지 않고 영역별 레이블 분포만 추정하므로 판별 모델로 분류합니다.