- UC Berkeley CS 182 (Spring 2021) 17강 정리
- 강의: Sergey Levine
- 관련 Discussion: Discussion 10
자기회귀 생성 모델 (Autoregressive Generative Models)
확률 모델과 생성 모델
지금까지의 분류 모델은 입력 \(x\)가 주어졌을 때 레이블에 대한 조건부 분포 \(p(y \mid x)\)를 학습했다. 생성 모델(generative model) 은 데이터 자체의 분포 \(p(x)\)를 학습한다.
언어 모델은 이미 생성 모델이다. 문장 \(x = (x_1, \dots, x_n)\)의 확률을 연쇄 법칙으로 분해해 \(p(x_t \mid x_{1:t-1})\)를 학습한다. 시작 토큰 <START>는 실제 변수가 아니다. 조건부 언어 모델 \(p(y \mid x)\)와 비조건부 언어 모델 \(p(x)\)는 같은 문제를 푸는 서로 다른 방식일 뿐이다.
왜 \(p(x)\)를 학습하는가? 언어 모델을 학습하는 이유와 같다.
- 대량의 데이터로 비지도 사전학습(unsupervised pretraining)을 할 수 있다.
- 표현 학습(representation learning)과 이후 미세조정을 위한 사전학습.
- 실제로 무언가를 생성하기 위해서.
레이블 없이 데이터만으로 학습하므로 이를 비지도 학습(unsupervised learning) 이라 한다. 이번 강의의 질문은 “언어 모델”을 “모든 것의 모델”로 확장할 수 있느냐다.
이미지를 “언어 모델링”할 수 있을까
문장에서는 시간 단계 하나가 단어 하나였다. 이미지에서는 픽셀에 어떤 (임의의) 순서를 정하고 시간 단계 하나를 픽셀 하나로 삼으면 된다. 그러면 “이미지 언어 모델”에게 이미지의 빈 부분을 채우라고 할 수도 있다(Van den Oord et al., Pixel Recurrent Neural Networks, 2016). 남은 세부사항은 픽셀의 순서를 어떻게 정할지, 어떤 모델을 쓸지다.
이미지를 픽셀의 시퀀스로 보는 아이디어. 왼쪽 위는 아래쪽 절반을 가린 이미지를 모델이 채우는 예이고, 아래는 픽셀 \(\hat{x}_{1,1}, \hat{x}_{1,2}, \dots\)를 하나씩 출력하는 RNN이다. 오른쪽 작은 격자의 지그재그 화살표가 픽셀의 순서(행 우선)를 나타낸다. 출처: CS 182 Lecture 17 slides.
그림 아래쪽의 RNN은 언어 모델과 구조가 완전히 같다. 첫 입력은
왼쪽 위의 예에서 이미지 위쪽 절반은 주어진 값으로 고정하고 아래쪽 절반만 모델이 샘플링하면, 같은 맥락에서 그럴듯한 완성 결과를 얻는다. 문장 앞부분을 주고 나머지를 생성하는 것과 같은 원리다.
자기회귀 생성 모델의 원리
훈련 원리는 다음과 같다.
- \(x\)를 차원 \(x_1, \dots, x_n\)으로 나눈다.
- 각 \(x_i\)를 \(k\)개 값으로 이산화한다.
- 연쇄 법칙으로 \(p(x)\)를 모델링한다(아래 식).
- 좋아하는 시퀀스 모델로 이를 표현한다.
각 조건부 분포 \(p(x_i \mid x_{1:i-1})\)는 \(k\)개 값에 대한 softmax일 뿐이다. 훈련은 각 위치에서 교차 엔트로피를 최소화하는 최대우도 학습이다.
사용 방법은 다음과 같다.
- 샘플링: 조상 샘플링(ancestral sampling). \(x_1\)을 뽑고, 그것을 조건으로 \(x_2\)를 뽑는 식으로 순서대로 진행한다.
- 완성(completion): 알고 있는 \(x_i\)에는 실제 값을 넣고 나머지만 샘플링한다.
- 표현: ELMo나 BERT와 같은 아이디어로 은닉 상태를 표현으로 쓴다.
PixelRNN
PixelRNN은 픽셀을 왼쪽에서 오른쪽, 위에서 아래로 하나씩 생성한다. 한 픽셀 안에서도 색 채널을 R, G, B 순서로 하나씩 생성하며, 각 채널 값은 256-way softmax로 출력한다.
\[p(x_i \mid x_{1:i-1}) = p(x_{i,R} \mid x_{1:i-1})\, p(x_{i,G} \mid x_{1:i-1}, x_{i,R})\, p(x_{i,B} \mid x_{1:i-1}, x_{i,R}, x_{i,G})\]실용적인 고려사항은 다음과 같다.
- 매우 느리다. 픽셀마다 순차적으로 계산해야 한다.
- 행 단위 LSTM은 공간적 맥락을 잡기 어려울 수 있다. 바로 위 픽셀이 순서상으로는 한 행만큼 “멀리” 떨어져 있기 때문이다.
- 실용적인 개선과 더 나은 구조가 많이 가능하다.
PixelCNN
PixelCNN은 모든 픽셀에 걸친 RNN 대신, 픽셀의 값을 주변 이웃에 대한 합성곱(convolution) 으로 결정하여 속도를 높인다. 단, 아직 생성되지 않은 픽셀(현재 픽셀의 오른쪽과 아래)은 보면 안 되므로 합성곱 필터의 해당 부분을 마스킹(masking) 한다.
병렬화가 가능한가?
- 훈련 중에는 가능하다. 모든 픽셀의 실제 값이 주어지므로, 마스킹된 합성곱으로 모든 위치의 조건부 분포를 한 번에 계산할 수 있다.
- 생성 중에는 불가능하다. 각 픽셀은 앞서 생성된 픽셀에 의존하므로 여전히 하나씩 순차적으로 생성해야 한다.
PixelCNN의 마스킹된 합성곱. 왼쪽 격자에서 파란 칸은 이미 생성된 픽셀, 빨간 칸 \(x_i\)는 지금 생성할 픽셀, 점선 사각형은 합성곱 필터의 수용 영역이다. 가운데 그림은 두 층을 쌓았을 때 아직 생성되지 않은 위치의 연결이 마스킹되는 모습이다. 출처: CS 182 Lecture 17 slides.
왼쪽 그림에서 점선 필터는 \(x_i\)를 중심으로 놓이지만, 필터 안의 흰 칸(오른쪽과 아래쪽, 아직 생성되지 않은 픽셀)에 대한 가중치는 0으로 고정된다. 그러면 \(x_i\)의 예측은 파란 칸의 값에만 의존한다. 그런데 빨간 화살표가 가리키는 왼쪽 위 픽셀은 필터 바깥에 있는데도 \(x_i\)에 영향을 준다. 이유는 층을 쌓기 때문이다. 아래 층의 이웃 픽셀이 그 픽셀을 보았고, 위 층이 다시 그 이웃을 보므로 층이 깊어질수록 수용 영역이 위쪽과 왼쪽으로 넓어진다.
가운데 그림이 이를 층 단위로 보여 준다. 아래 층에서 파란 점들(이미 생성된 위치)은 위 층의 빨간 점으로 연결되지만, 화살표가 가리키는 오른쪽 위치들은 마스킹되어 연결이 없다. 훈련 중에는 모든 픽셀의 실제 값이 있으므로 이 합성곱을 이미지 전체에 한 번에 적용해 모든 조건부 분포를 병렬로 계산할 수 있다. 생성 중에는 \(x_i\)를 뽑아야 \(x_{i+1}\)의 입력이 생기므로 픽셀 수만큼 순전파를 반복해야 한다.
Pixel Transformer
Image Transformer(Parmar et al., 2018)는 Transformer 디코더를 픽셀 시퀀스에 적용한다. 마스킹된 셀프 어텐션(masked self-attention)과 위치별 비선형 네트워크로 이루어진 블록을 \(N\)번 반복한다.
문제는 픽셀 수가 매우 많을 수 있다는 것이다. 어텐션 비용은 시퀀스 길이의 제곱에 비례하므로 감당할 수 없을 만큼 비싸진다. 해결책은 너무 멀지 않은 픽셀들에 대해서만 어텐션을 계산하는 것이다. 이렇게 하면 PixelCNN과 조금 비슷해진다. 슬라이드는 CIFAR-10에서 학습한 PixelRNN과 Image Transformer의 샘플을 나란히 비교해 보여 준다.
조건부 자기회귀 모델
다른 정보를 조건으로 생성하고 싶을 때가 있다.
- 특정 종류의 물체(예: 클래스) 이미지를 생성한다.
- 모방 학습에서 관측을 조건으로 한 행동 분포를 생성한다.
조건부 언어 모델과 똑같이, 맥락을 인코더로 처리해 생성 모델에 넣으면 된다. 인코더는 매우 단순할 수도 있고(클래스 원-핫 벡터), 매우 복잡할 수도 있다(모방 학습의 다봉 정책에서 이미지를 처리하는 CNN). 앞 강의의 자기회귀 이산화가 바로 이런 조건부 자기회귀 모델이다.
장단점
자기회귀 생성 모델은 다른 종류의 데이터를 위한 “언어 모델”이다. 더 정확히 말하면 언어 모델이 자기회귀 생성 모델의 특수한 경우다. RNN(LSTM), PixelCNN 같은 국소 맥락 모델, Transformer 등 여러 방식으로 표현할 수 있다.
- 장점: 확률값을 포함한 완전한 분포를 제공한다. 개념적으로 매우 단순하다.
- 단점: 이미지처럼 큰 데이터 포인트에서는 매우 느리다. 보통 이미지 해상도에 한계가 있다.
오토인코더 (Autoencoders)
높은 곳에서 바라보기
자기회귀 모델을 다르게 보자. 이미지가 입력으로 들어가고, 목표는 같은 이미지를 출력하는 것이다. 그대로 두면 항등 함수를 배우면 되므로 의미가 없다. 각 픽셀은 앞선 픽셀들로만 만들어야 한다는 구조 가 이 재구성(reconstruction) 과제를 자명하지 않게 만든다. Pixel Transformer에서는 셀프 어텐션의 마스킹이 그 구조다. BERT도 마찬가지로 입력을 가리고 복원한다.
여기서 생성 모델의 일반적인 설계를 생각할 수 있다. 입력 \(x\)를 모델에 넣어 \(x\)를 재구성하는 손실을 쓰되, 모델에 어떤 구조를 넣어 항등 함수를 배우지 못하게 한다. 지금까지 본 구조는 다음과 같다.
- RNN/LSTM 시퀀스 모델: “이전” 픽셀만으로 픽셀 값을 예측해야 한다.
- PixelCNN: 마스킹된 이웃만으로 예측해야 한다.
- Pixel Transformer: 마스킹된 셀프 어텐션으로 예측해야 한다.
이것들은 모두 공간적 구조다. 더 추상적인 구조를 쓸 수는 없을까?
오토인코더의 원리
이미지를 어떤 은닉 상태 \(h\)로 인코딩(encoding) 하고, 그 은닉 상태로부터 이미지를 최대한 정확하게 디코딩(decoding) 하도록 네트워크를 학습한다. 이런 네트워크를 오토인코더(autoencoder) 라 한다.
\[h = e(x), \qquad \hat{x} = d(h), \qquad \mathcal{L} = \lVert x - d(e(x)) \rVert^2\]다운스트림 과제에 쓰는 부분은 은닉 상태 \(h\)다. 핵심은 구조를 강제하는 것 이다. 모델의 설계, 데이터 처리, 정규화 중 무언가가 오토인코더로 하여금 구조화된 표현을 배우도록 강제해야 한다.
오토인코더의 기본 구조. 인코더(왼쪽 사다리꼴)가 이미지를 은닉 상태(가운데 파란 막대)로 압축하고, 디코더(오른쪽 사다리꼴)가 그것으로부터 원래 이미지를 복원한다. 다운스트림 과제에는 가운데 은닉 상태를 쓴다. 출처: CS 182 Lecture 17 slides.
그림에서 입력과 출력은 같은 이미지다. 레이블이 따로 필요 없으므로 레이블 없는 데이터만으로 학습할 수 있다. 사다리꼴 모양은 층을 지날수록 차원이 줄었다가(인코더) 다시 늘어난다는(디코더) 것을 나타낸다. 학습이 끝나면 디코더는 버리는 경우가 많고, 인코더가 만든 은닉 상태를 분류기나 강화학습 정책의 입력 특징으로 쓴다. 다만 구조를 강제하지 않으면 네트워크는 입력을 그대로 복사하는 항등 함수를 배워 버릴 수 있으며, 그 경우 은닉 상태에는 아무런 유용한 구조가 없다. 아래의 여러 종류는 이 항등 함수 해를 막는 서로 다른 방법이다.
오토인코더의 종류
- 차원(dimensionality): 은닉 상태를 입력/출력보다 작게 만들어 네트워크가 정보를 압축하게 한다.
- 잡음 제거(denoising): 입력에 잡음을 넣어, 오토인코더가 잡음과 신호를 구별하도록 학습하게 한다.
- 희소성(sparsity): 은닉 상태를 희소하게(대부분의 원소가 0) 만들어 입력을 압축하게 한다.
- 확률적 모델링(probabilistic modeling): 은닉 상태가 사전 분포(prior)를 따르도록 강제한다. 다음 강의에서 다룬다.
병목 오토인코더
고전적인 병목 오토인코더(bottleneck autoencoder) 는 예를 들어 \(100 \times 100 = 10{,}000\)차원 이미지를 128차원 은닉 상태로 압축했다가 복원한다. 성질은 다음과 같다.
- 인코더와 디코더가 모두 선형이면 정확히 주성분 분석(PCA)을 복원한다. 보통 별로 흥미롭지 않은 경우다.
- “비선형 차원 축소”로 볼 수 있다. 차원이 낮다는 것만으로도 유용할 수 있다. 저차원에서만 다룰 수 있는 알고리즘(예: 이산화)을 쓸 수 있기 때문이다.
슬라이드의 예는 Lange & Riedmiller(2012)로, 원시 이미지에서 병목 오토인코더로 저차원 특징을 얻어 강화학습에 사용했다. 오늘날 이 설계는 다소 구식이어서 거의 쓰이지 않지만 역사적으로 알아 둘 가치가 있다.
희소 오토인코더
입력을 적은 수의 “속성(attribute)”으로 묘사할 수 있을까? 픽셀 값의 나열(픽셀 (0,0)의 색, 픽셀 (0,1)의 색, …)은 대부분의 값이 0이 아닌 조밀한(dense) 표현이고 구조화되어 있지 않다. 반면 “귀가 있음: 1, 날개가 있음: 0, 바퀴가 있음: 0” 같은 표현은 매우 구조화되어 있다. 가능한 속성은 많지만 대부분의 이미지는 대부분의 속성을 갖지 않으므로, 이 표현은 대부분의 값이 0인 희소(sparse) 표현이다. 아이디어는 희소 표현이 더 구조화된 표현이라는 것이다. 이 아이디어는 뇌가 희소 표현을 쓴다고 보는 신경과학의 희소 부호화(sparse coding)에서 유래했다.
희소 오토인코더(sparse autoencoder) 는 재구성 손실에 은닉 상태의 희소성 손실을 더한다. 가장 단순한 희소성 손실은 \(h\)의 \(\ell_1\) 노름이다.
\[\mathcal{L} = \lVert x - d(h) \rVert^2 + \lambda \sum_{j=1}^{D} \lvert h_j \rvert, \qquad h = e(x)\]\(\ell_1\) 노름의 기울기는 항상 \(\operatorname{sgn}(h_j)\)이므로 값이 작아져도 0 쪽으로 미는 힘이 줄지 않는다. 그래서 \(\ell_2\) 정규화와 달리 정확히 0인 원소가 많이 생긴다. 은닉 상태의 차원은 매우 클 수 있으며 입력보다 클 수도 있다. 이를 과완전(overcomplete) 이라 한다. 압축은 차원이 아니라 희소성에서 오므로 가능하다. 다른 희소성 손실/모델로는 lifetime sparsity, spike and slab 모델 등이 있다.
잡음 제거 오토인코더
의미 있는 구조를 배운 좋은 모델이라면 “빈칸을 채울” 수 있어야 한다. 잡음 제거 오토인코더(denoising autoencoder) 는 입력 \(x\)에 잡음을 더해 \(\tilde{x}\)를 만들고, \(\tilde{x}\)를 인코딩·디코딩하여 원래의 깨끗한 \(x\)를 재구성하도록 학습한다.
\[\mathcal{L} = \lVert x - d(e(\tilde{x})) \rVert^2, \qquad \tilde{x} = x + \text{noise}\]기본 아이디어에 많은 변형이 있으며, 가장 널리 쓰이는 단순한 오토인코더 설계 중 하나다.
잡음 제거 오토인코더. 깨끗한 이미지에 잡음을 더한 것을 인코더에 넣고, 디코더의 출력은 잡음이 없는 원래 이미지와 비교한다. 출처: CS 182 Lecture 17 slides.
그림의 노란 화살표가 잡음을 넣는 단계다. 이 단계는 학습 중 데이터 처리에만 있고 네트워크 구조에는 없다. 입력과 목표가 서로 달라졌으므로 항등 함수를 배워서는 손실을 줄일 수 없다. 네트워크는 잡음 섞인 픽셀들 사이에서 “개의 얼굴은 이런 모양이다”라는 통계적 규칙을 찾아 원래 값을 추정해야 하고, 그 규칙이 은닉 상태에 담긴다. 병목 오토인코더와 달리 은닉 상태를 작게 만들 필요가 없다는 점도 장점이다. 잡음은 가우시안 잡음 외에 픽셀 일부를 0으로 지우는 마스킹 잡음을 쓰기도 하며, 후자는 BERT의 마스크 언어 모델과 같은 발상이다.
종류별 장단점
- 병목: 구현이 매우 단순하다. 하지만 차원을 줄이는 것만으로는 원하는 구조가 생기지 않는 경우가 많다.
- 희소: “분리된(disentangled)” 표현을 줄 수 있는 원리적인 방법이다. 하지만 실전에서 더 어렵고, 정규화 항을 고르고 하이퍼파라미터를 조정해야 한다.
- 잡음 제거: 구현이 매우 단순하다. 하지만 어느 층을 병목으로 쓸지, 잡음을 얼마나 넣을지 등 임의적인 선택이 많다.
- 확률적: 다음 강의에서 자세히 다룬다.
층별 사전학습
딥러닝 초창기(2006-2009년 무렵)에는 오토인코더로 깊은 네트워크를 학습하는 층별 사전학습(layerwise pretraining) 이 주된 방법 중 하나였다. 첫 층을 오토인코더로 학습하고, 그 은닉 표현 위에 두 번째 층을 오토인코더로 학습하는 식으로 쌓은 뒤, 마지막에 레이블(예: DOG)로 미세조정한다. 이후 ReLU, 배치 정규화, 더 나은 하이퍼파라미터 조정 덕분에 깊은 네트워크를 처음부터 끝까지(end-to-end) 학습하는 일이 훨씬 쉬워졌고, 이 방식은 거의 쓰이지 않게 되었다. 그에 따라 오토인코더의 중요성도 줄었지만 여전히 유용하다.
오늘날의 오토인코더
더 나은 대안이 있어서 예전만큼 널리 쓰이지는 않는다.
- 표현 학습: VAE, 대조 학습(contrastive learning).
- 생성: GAN, VAE, 자기회귀 모델.
그래도 매우 빠르고 그럭저럭 작동하는 “빠르고 간단한” 표현 학습 방법으로는 여전히 쓸 만하다. 큰 문제는 오토인코더에서 샘플링(생성)하기가 어렵다는 것이다. \(h\)가 어떤 분포를 따르는지 모르므로 새로운 \(h\)를 뽑아 디코딩할 수 없다. 이를 해결한 것이 변분 오토인코더(variational autoencoder, VAE) 이며, 오늘날 가장 널리 쓰이는 오토인코더다. 다음 강의에서 다룬다.
잠재 변수 모델 (Latent Variable Models)
혼합 모델
가장 단순한 잠재 변수 모델은 혼합 모델(mixture model) 이다. 예를 들어 가우시안 혼합은 이산 잠재 변수 \(z\)(어느 혼합 성분인가)를 두고 다음과 같이 쓴다.
\[p(x) = \sum_{i=1}^{K} p(x \mid z = i)\, p(z = i)\]\(p(z)\)는 혼합 가중치이고 \(p(x \mid z)\)는 각 성분(가우시안)이다. 조건부 버전 \(p(y \mid x) = \sum_z p(y \mid x, z) p(z \mid x)\)는 14강의 다봉 정책에서 본 가우시안 혼합 출력과 같다.
일반적인 잠재 변수 모델
연속 잠재 변수로 일반화하면 다음과 같다.
\[p(x) = \int p(x \mid z)\, p(z)\, dz\]\(p(z)\)는 “쉬운” 분포(예: 가우시안)이고, \(p(x \mid z)\)도 “쉬운” 분포(예: 조건부 가우시안)다. 예를 들어 \(p(x \mid z) = \mathcal{N}(\mu_{\text{nn}}(z), \sigma_{\text{nn}}(z))\)처럼 평균과 분산을 신경망이 출력하게 한다. 쉬운 분포 두 개를 결합했지만, 신경망이 \(z\) 공간을 비선형으로 변환하므로 \(p(x)\)는 다봉 분포처럼 매우 복잡한 분포가 될 수 있다.
연속 잠재 변수 모델의 그림. 아래의 단봉 가우시안 \(p(z)\)가 신경망 \(p(x \mid z) = \mathcal{N}(\mu_{\text{nn}}(z), \sigma_{\text{nn}}(z))\)을 거치면 위쪽처럼 봉우리가 둘인 \(p(x)\)가 된다. 출처: CS 182 Lecture 17 slides.
그림은 아래에서 위로 읽는다. 먼저 \(p(z)\)에서 \(z\) 하나를 뽑는다. 이 값을 신경망에 넣으면 \(x\)에 대한 가우시안의 평균과 분산이 나오고, 그 가우시안에서 \(x\)를 뽑는다. 신경망은 \(z\) 축의 서로 다른 구간을 \(x\) 축의 서로 다른 위치로 보낼 수 있다. 예를 들어 \(z\)가 음수인 구간은 왼쪽 봉우리 근처로, 양수인 구간은 오른쪽 봉우리 근처로 보내면, 단봉 분포에서 시작했어도 \(p(x)\)에는 두 개의 봉우리가 생긴다. \(p(x)\)는 모든 \(z\)에 대해 이런 가우시안을 \(p(z)\)로 가중해 더한 무한 혼합이다. 혼합 모델에서 성분 수가 유한했던 것을 연속 잠재 변수로 일반화한 것이며, 그만큼 표현력이 커지는 대신 적분 때문에 \(p(x)\)를 직접 계산하기 어려워진다.
잠재 변수 모델은 어떻게 학습하나
모델 \(p_\theta(x)\)와 데이터 \(\mathcal{D} = \{x_1, \dots, x_N\}\)이 주어지면 최대우도로 적합한다.
\[\theta \leftarrow \arg\max_\theta \frac{1}{N} \sum_{i} \log p_\theta(x_i) = \arg\max_\theta \frac{1}{N} \sum_{i} \log \left( \int p_\theta(x_i \mid z)\, p(z)\, dz \right)\]그런데 로그 안의 적분은 완전히 계산 불가능(intractable) 하다. 모든 \(z\)에 대해 신경망을 평가해 적분해야 하기 때문이다.
로그우도의 추정
대안은 기대 로그우도(expected log-likelihood) 다.
\[\theta \leftarrow \arg\max_\theta \frac{1}{N} \sum_{i} \mathbb{E}_{z \sim p(z \mid x_i)} \left[ \log p_\theta(x_i, z) \right]\]직관은 다음과 같다. \(x_i\)가 주어졌을 때 가장 그럴듯한 \(z\)를 “추측”하고, 그것이 정답인 것처럼 학습한다. 다만 가능한 \(z\)가 많으므로 하나만 고르지 않고 분포 \(p(z \mid x_i)\)를 쓴다. 그러면 \(\log p_\theta(x_i, z) = \log p_\theta(x_i \mid z) + \log p(z)\)는 쉽게 계산된다.
남은 문제는 \(p(z \mid x_i)\)를 어떻게 계산하느냐다. 이를 확률적 추론(probabilistic inference) 이라 한다. 다음 강의(VAE)의 주제다.
딥러닝에서의 잠재 변수 모델
생성에 쓸 때는 두 단계다.
- \(z \sim p(z)\): “무작위 수로 이루어진 벡터를 생성한다.”
- \(x \sim p(x \mid z)\): “그 무작위 수 벡터를 이미지로 바꾼다.”
잠재 변수 심층 생성 모델은 (대개) 무작위 수를 유효한 샘플(예: 이미지)로 바꾸는 모델일 뿐이다. 슬라이드는 이 말이 신비감을 깨뜨리니 아무에게도 말하지 말라고 농담한다. VAE, GAN, normalizing flow 등이 모두 이런 종류다. 이번 강의는 이 모델을 어떻게 표현하고 사용하는지를, 다음 강의는 어떻게 학습하는지를 다룬다.
잠재 변수 모델의 표현
\(p(z)\)는 쉽다. \(\mathcal{N}(0, I)\)처럼 가우시안 난수를 생성하면 된다. \(p_\theta(x \mid z)\)는 조금 더 복잡하다. \(x\)에 대한 분포를 어떻게 표현할까?
선택 1: 픽셀을 연속값으로 본다.
\[p_\theta(x \mid z) = \mathcal{N}\left( \mu_\theta(z), \sigma_\theta(z) \right)\]평균은 신경망 함수이고, 분산도 (선택적으로) 신경망 함수다. 간단한 선택은 \(\sigma\)를 상수로 두는 것이다. \(z\)와 무관한 학습된 상수이거나 손으로 정한 값(예: 1)이다. 이 경우 음의 로그우도는 상수배와 상수항을 제외하면 \(\lVert x - \mu_\theta(z) \rVert^2\)이므로 평균제곱오차(MSE) 손실 로 귀결된다.
선택 2: 픽셀을 이산값으로 본다. PixelRNN이나 PixelCNN처럼 픽셀마다 256-way softmax를 쓰면 된다. 매우 잘 작동하지만 조금 느리다. 최고 성능의 모델에서 특히 흔하다. 이 강의에서 다루지 않는 다른 선택으로는 discretized logistic, 이진 교차 엔트로피 등이 있다.
디코더의 구조
\(z\)에서 이미지를 만드는 네트워크로 무엇을 쓸까?
- 쉬운 선택: 그냥 큰 완전 연결 네트워크(선형 층 + ReLU). 아주 작은 이미지(예: MNIST)나 이미지가 아닌 데이터에서는 잘 작동한다.
- 더 나은 선택: 전치 합성곱(transpose convolution). 저차원 벡터를 작은 특징 맵으로 바꾼 뒤 전치 합성곱으로 해상도를 점점 키워 이미지를 만든다.
잠재 변수 모델의 학습 방법
어떻게 학습할지는 다음 강의들에서 다룬다. 대표적인 방법은 변분 오토인코더(VAE), normalizing flow, 생성적 적대 신경망(GAN)이다.
정리
- 생성 모델은 \(p(x)\)를 학습한다. 비지도 사전학습, 표현 학습, 실제 생성에 쓰인다.
- 자기회귀 모델은 \(p(x) = \prod_i p(x_i \mid x_{1:i-1})\)로 분해하고 각 항을 softmax로 모델링한다. PixelRNN, PixelCNN(마스킹 합성곱, 훈련은 병렬이지만 생성은 순차), Image Transformer(국소 어텐션)가 있으며 정확한 확률을 주지만 느리다.
- 오토인코더는 입력을 은닉 상태로 인코딩했다가 재구성한다. 항등 함수를 배우지 못하도록 병목, 희소성(\(\ell_1\) 손실, 과완전 표현), 잡음 제거, 확률적 사전 분포 같은 구조를 강제해야 한다.
- 선형 병목 오토인코더는 PCA와 같다. 층별 사전학습은 초창기에 중요했지만 end-to-end 학습이 쉬워지며 쓰이지 않게 되었다. 일반 오토인코더는 샘플링이 어렵다.
- 잠재 변수 모델은 \(p(x) = \int p(x \mid z) p(z) dz\)로, 쉬운 분포 두 개와 신경망으로 복잡한 분포를 표현한다. 생성은 “무작위 벡터를 이미지로 바꾸는 것”이다.
- 최대우도 학습은 적분 때문에 계산 불가능하다. 기대 로그우도를 쓰려면 사후 분포 \(p(z \mid x)\)를 구하는 확률적 추론이 필요하며, 이것이 다음 강의의 주제다.