3 Inseok Kong Schedule

Q-84. Generative Model이란 무엇인가?

생성 모델은 데이터가 만들어지는 분포 p(x) 또는 p(x, y)를 학습하는 모델로, 베이즈 규칙으로 분류하거나 새로운 샘플을 생성할 수 있다.

면접 답변

생성 모델은 데이터가 어떻게 만들어지는지, 즉 입력의 분포 p(x)나 입력과 레이블의 결합 분포 p(x, y)를 학습하는 모델입니다. 분포를 알면 베이즈 규칙으로 분류할 수 있고, 새로운 샘플을 만들거나 드문 입력을 탐지하는 데도 쓸 수 있습니다. 분류 문제의 고전적인 예로는 클래스별 입력 분포를 모델링하는 나이브 베이즈와 GDA가 있습니다. 딥러닝에서는 VAE, GAN, 플로우, 디퓨전처럼 이미지나 텍스트를 생성하는 모델이 대표적입니다. 대신 데이터 분포 전체를 다루므로 고차원에서는 어렵고, 분류만 필요하다면 그 분포까지 모델링하는 것이 불필요한 부담이 될 수 있습니다. 또 모델이 샘플을 만드는 방식은 다양해서, GAN처럼 밀도를 명시적으로 주지 않는 모델도 있습니다.

자세한 설명

분류기로서의 생성 모델

클래스 조건부 분포 \(p(\mathbf{x} \mid y)\)와 사전 확률 \(p(y)\)를 학습하면 결합 분포 \(p(\mathbf{x}, y) = p(\mathbf{x} \mid y)p(y)\)가 정해지고, 베이즈 규칙으로 사후 확률을 얻는다.

\[p(y \mid \mathbf{x}) = \frac{p(\mathbf{x} \mid y)\, p(y)}{\sum_{y'} p(\mathbf{x} \mid y')\, p(y')}\]

수치 예로, \(p(y = 1) = 0.3\)이고 어떤 입력의 \(p(\mathbf{x} \mid y = 1) = 0.6\), \(p(\mathbf{x} \mid y = 0) = 0.1\)이면 다음과 같다.

\[p(y = 1 \mid \mathbf{x}) = \frac{0.3 \times 0.6}{0.3 \times 0.6 + 0.7 \times 0.1} = \frac{0.18}{0.25} = 0.72\]

고전적인 모델은 \(p(\mathbf{x} \mid y)\)에 구체적인 가정을 둔다. 나이브 베이즈는 조건부 독립을, GDA는 가우시안을 가정한다. GMM과 HMM은 레이블 대신 잠재 변수에 대해 같은 구조를 쓴다.

샘플을 만드는 심층 생성 모델

보통 잠재 변수 \(\mathbf{z}\)를 뽑아 데이터로 변환하거나, 노이즈를 점진적으로 제거해 샘플을 만든다. 우도를 어떻게 다루는지로 구분하면 다음과 같다.

계열 밀도 \(p(\mathbf{x})\) 학습 대표적 장단점
자기회귀(autoregressive) 정확히 계산 음의 로그 우도 우도가 정확함, 생성은 순차적
정규화 플로우(normalizing flow) 정확히 계산 음의 로그 우도 가역 구조 제약
VAE 하한(ELBO)으로 근사 ELBO 최대화 안정적 학습, 잠재 표현 제공
GAN 명시적으로 주지 않음 판별자와의 적대적 게임 빠른 생성, 학습이 불안정할 수 있음
디퓨전(diffusion) 학습에 직접 쓰지 않음 (별도 계산은 가능) ELBO 또는 점수 매칭 (노이즈 예측) 다양성이 좋은 편, 생성이 반복적

어떤 평가도 모두를 대변하지 못한다. 우도가 높다고 샘플이 시각적으로 좋다는 보장이 없고, 그 반대도 마찬가지이다.

무엇을 얻고 무엇을 치르는가

얻는 것

  • 샘플 생성과 데이터 증강
  • \(p(\mathbf{x})\)가 있다면 이상 탐지에 활용 (단, 심층 모델의 우도는 처음 보는 데이터에 높게 나오기도 해 주의가 필요하다)
  • 비레이블 데이터 활용과 결측 입력 처리
  • 잠재 표현 학습

치르는 것

  • 분포 전체를 추정해야 하므로 어렵고, 표본과 계산이 많이 든다.
  • 모델 가정이 틀리면 분류 성능까지 나빠질 수 있다.

분류만 필요할 때 무엇이 나은지는 Q-85의 실험에서 비교한다.

관련 개념

  • 판별 모델: \(p(y \mid \mathbf{x})\)만 학습한다. Q-85에서 다룬다.
  • 나이브 베이즈와 GDA: 고전적 생성 분류기이다. Q-37과 Machine Learning 5를 참고한다.
  • 심층 생성 모델 개요: Deep Learning 17에서 시작해 GAN으로 이어진다.
  • VAE, 플로우, 디퓨전: 임커밋 VAE, Flow, Diffusion에서 자세히 다룬다.

꼬리 질문

Q. 생성 모델을 학습하면 항상 샘플을 만들 수 있나요? 결합 분포를 정의하면 원리적으로 가능합니다. 다만 나이브 베이즈 같은 단순한 모델의 샘플은 조건부 독립 가정 때문에 실제 데이터처럼 보이지 않습니다.

Q. GAN은 밀도를 주지 않는데 왜 생성 모델인가요? 샘플링 절차를 통해 분포를 암묵적으로 정의하기 때문입니다. 이를 암묵적(implicit) 생성 모델이라 합니다.

Q. 조건부 생성 모델은 판별 모델과 어떻게 다른가요? 조건부 생성 모델은 \(p(\mathbf{x} \mid y)\)처럼 고차원 출력의 분포를 학습해 샘플을 만듭니다. 판별 모델은 입력을 받아 레이블의 분포만 줍니다.