3 Inseok Kong Schedule

Deep Learning 11: Sequence to Sequence

RNN 언어 모델에서 출발해 조건부 언어 모델과 seq2seq 모델을 만들고, 빔 서치로 디코딩하며, 어텐션으로 인코더 병목을 해결하는 과정을 다룬다.

시퀀스-투-시퀀스 모델 (Sequence to Sequence)

▶ Part 1

기본적인 신경망 언어 모델

지난 강의에서 RNN을 이미지 캡션, 행동 인식, 기계 번역, 프레임 단위 주석 등에 쓰는 방식을 보았다. 이번에는 그중 시퀀스를 다른 시퀀스로 바꾸는 문제를 자세히 본다. 출발점은 언어 모델(language model) 이다.

학습 데이터는 자연어 문장이다(실제로는 수백만 개가 될 수 있다).

  • I think therefore I am
  • I like machine learning
  • I am not just a neural network

문장을 토큰화(tokenize) 해서 각 단어를 토큰 하나로 본다. 토큰을 표현하는 가장 단순한 방법은 원-핫 벡터(one-hot vector) 다. 차원은 가능한 단어의 수(어휘 크기)이고, 해당 단어의 인덱스 위치만 1이다. 더 나은 방법인 단어 임베딩(word embedding)은 13강에서 다룬다.

RNN 언어 모델은 자기회귀 방식으로 학습한다. 입력으로 “I think therefore I”를 넣으면 출력으로 한 칸씩 밀린 “think therefore I am”을 예측한다.

시작과 끝 토큰

  • 문장이 끝나면 특수 토큰 <EOS>(end of sequence)를 출력하도록 학습한다. 그래야 생성 시 언제 멈출지 안다.
  • 완전히 새로운 문장을 만들려면 특수 토큰 <START>를 첫 입력으로 넣고 시작한다.
  • 문장을 완성하려면(예: “I think…”를 주고 나머지를 쓰게 하려면) 주어진 앞부분을 입력으로 넣어 은닉 상태를 만든 뒤, 그다음부터 샘플링한 출력을 입력으로 되먹인다.

조건부 언어 모델

RNN에게 무엇을 생성할지 알려 주려면 어떻게 해야 할까? 이미지 캡션 생성을 예로 들면, CNN 인코더 가 이미지를 벡터로 바꾸고, 이 벡터를 RNN 디코더 의 초기 은닉 상태로 넣는다. 이 벡터는 생성할 시퀀스의 원하는 내용을 담은 인코딩이다. 학습 데이터는 (이미지, 캡션) 쌍이고, 디코더는 <START> 다음 “A cute puppy <EOS>“를 생성하도록 학습된다. 이것을 조건부 언어 모델(conditional language model) 이라 한다.

다른 시퀀스를 조건으로

CNN 인코더 대신 RNN 인코더 를 쓰면 다른 시퀀스를 조건으로 삼을 수 있다. 프랑스어 “Un chiot mignon”을 RNN 인코더로 읽고, 마지막 은닉 상태를 RNN 디코더에 넘겨 영어 “A cute puppy”를 생성한다.

  • 인코더 쪽 마지막 토큰은 입력 시퀀스의 <EOS> 역할을 겸한다.
  • 실제로는 입력 시퀀스를 역순으로 넣는 경우가 많다. 그러면 입력 문장의 앞부분(대개 출력의 앞부분과 대응한다)이 디코더 시작점과 가까워져, 처음 몇 단어 사이의 의존 경로가 짧아지기 때문이다.

RNN encoder reads a French sentence and its final state initializes the RNN decoder RNN 인코더가 “Un chiot mignon”을 읽고, 마지막 은닉 상태 \(a_0 = f(x)\)가 RNN 디코더의 초기 상태가 되어 “A cute puppy <EOS>“를 생성한다. 출처: CS 182 Lecture 11 slides.

그림의 왼쪽 네 막대가 인코더, 오른쪽 네 막대가 디코더다. 인코더는 출력을 내지 않고 단어를 하나씩 읽어 은닉 상태만 갱신한다. 마지막 상태는 점선 상자를 거쳐 디코더의 초기 상태 \(a_0\)가 된다. 위쪽의 큰 곡선 화살표가 가리키듯, 이 벡터가 “생성할 시퀀스의 원하는 내용”을 담은 인코딩이며, 앞의 이미지 캡션 예에서 CNN 인코더가 하던 역할을 RNN 인코더가 대신한다.

디코더 쪽은 지난 강의의 자기회귀 언어 모델과 똑같다. 첫 입력 \(y_{i,0}\)는 <START>이고, 각 단계의 정답 단어(A, cute, puppy)가 다음 단계의 입력이 되며, 마지막 출력은 <EOS>다. 그림 아래 화살표가 가리키듯 디코더의 <START> 토큰은 동시에 입력 시퀀스가 끝났다는 신호 역할도 한다.

시퀀스-투-시퀀스 모델

이렇게 만든 모델을 시퀀스-투-시퀀스(sequence to sequence, seq2seq) 모델이라 한다.

  • 대개 가중치가 서로 다른 두 개의 RNN(인코더, 디코더)으로 이루어진다.
  • 짝지은 데이터(예: 프랑스어-영어 문장 쌍)로 끝에서 끝까지(end-to-end) 학습한다.
  • 실제로는 RNN 층을 여러 개 쌓고, 각 층은 LSTM(또는 GRU) 셀을 쓴다.
  • 입력과 출력 시퀀스의 길이가 달라도 된다.

활용 범위가 넓다. 한 언어를 다른 언어로 번역하고, 긴 문장을 짧게 요약하고, 질문에 답하고, 텍스트를 Python 코드로 바꿀 수도 있다(Sutskever, Vinyals, Le, 2014).

▶ Part 2

가장 그럴듯한 시퀀스 찾기

학습된 seq2seq 모델은 각 단계에서 다음 토큰의 분포 \(p(y_t \mid x_{1:T}, y_{1:t-1})\)를 준다. 이 분포는 입력 시퀀스 전체와 지금까지의 출력 시퀀스에 의존한다. 우리가 원하는 것은 전체 시퀀스의 확률, 즉 단계별 확률의 곱을 최대화하는 출력이다.

\[p(y_{1:T} \mid x_{1:T}) = \prod_{t=1}^{T} p(y_t \mid x_{1:T}, y_{1:t-1})\]

가장 단순한 방법은 매 단계에서 확률이 가장 높은 토큰을 고르는 탐욕적 디코딩(greedy decoding) 이다. 그러나 이것은 최적이 아니다. 슬라이드의 예에서 “Un chiot mignon”을 번역할 때, 첫 단계에서 “One”(0.51)이 “A”(0.48)보다 약간 높아 “One”을 고르면, 그 뒤에 오는 단어들의 확률이 모두 낮아진다. 반대로 첫 단계에서 약간 낮은 “A”를 고르면 다음 단계에서 “cute”와 “puppy”가 훨씬 높은 확률을 갖는다. 곱을 최대화하려면 첫 단계부터 탐욕적으로 고르면 안 된다.

Greedy decoding picks One (0.51) although A (0.48) leads to much higher later probabilities 첫 단계에서 “A”(0.48)는 “One”(0.51)보다 약간 낮지만, “A”를 고르면 다음 단계에서 “Cute” 0.53, “Puppy” 0.95처럼 훨씬 높은 확률이 이어진다. 출처: CS 182 Lecture 11 slides.

그림에서 디코더 출력 위의 빨간 상자들이 정답 번역 “A cute puppy”의 각 단계 확률이다. 각 출력은 \(p(y_{i,t} \mid x_{i,1:T}, y_{i,0:t-1})\), 즉 입력 문장 전체와 지금까지 고른 단어에 대한 조건부 확률이다(왼쪽 위). 파란 점선은 각 단계에서 고른 단어가 다음 단계의 입력으로 들어가는 경로다. 이 점선 때문에 둘째 단계 이후의 확률은 첫 단계에서 무엇을 골랐는지에 따라 달라진다.

탐욕적 디코딩은 첫 단계에서 0.51인 “One”을 고르고, 그러면 이후 단계는 “One”으로 시작하는 문장의 확률을 계산하게 된다. “A”를 고른 경우의 전체 확률은 대략 \(0.48 \times 0.53 \times 0.95 \approx 0.24\)인데, “One”으로 시작해 이후 단계에서 이만큼 높은 확률을 이어 가지 못하면 전체 곱은 더 작아진다. 아래 식처럼 목표가 단계별 확률의 곱이므로, 지금 조금 손해를 보더라도 뒤에서 크게 이득을 보는 선택을 할 수 있어야 한다. 입력을 역순(mignon, chiot, Un)으로 넣고 인코더에는 <START>가 필요 없다는 점도 그림에 표시되어 있다.

디코딩은 탐색 문제다

어휘 크기가 \(V\)이고 길이가 \(T\)이면 가능한 디코딩은 \(V^T\)개다. 각 단계의 토큰 선택이 나무의 가지를 이루므로, 디코딩은 트리 탐색(tree search) 문제다. 어떤 트리 탐색 알고리즘이든 쓸 수 있지만, 정확한 탐색은 너무 비싸다. 다행히 이 문제의 구조 덕분에 간단한 근사 탐색이 잘 작동한다.

기본 직관은 이렇다. 첫 단계에서 확률이 가장 높은 단어를 고르는 것이 최적이 아닐 수 있지만, 확률이 아주 낮은 단어를 고르면 좋은 결과로 이어질 가능성도 매우 낮다. 즉 완전히 탐욕적일 수는 없어도 어느 정도는 탐욕적일 수 있다. 이것은 일반적인 사실이 아니라, 시퀀스 디코딩에 대해 알려진 성질에 근거한 추측이다.

빔 서치

빔 서치(beam search) 는 지금까지 가장 좋은 \(k\)개의 시퀀스(가설, hypothesis)를 저장하고 각각을 갱신한다. \(k = 1\)이면 탐욕적 디코딩과 같고, 보통 \(k\)는 5~10 정도를 쓴다. 확률을 곱하면 값이 너무 작아지므로(underflow), 실제로는 로그 확률을 더해 간다.

예시(CS224n, Christopher Manning)는 프랑스어 “il a m’entarté”(그가 나에게 파이를 던졌다)를 \(k=2\)로 번역한다. <START>에서 “he”와 “I”를 유지하고, 각각에서 “hit”, “struck”, “was”, “got” 등을 확장한 뒤 누적 로그 확률이 가장 높은 두 개만 남긴다. 이 과정을 반복하면 “he hit me with a pie” 같은 문장이 나온다.

Beam search tree with k = 2 translating il a m'entarté \(k = 2\) 빔 서치의 탐색 나무. 각 상자 옆 숫자는 <START>부터의 누적 로그 확률이며, 빨간 X는 상위 2개에 들지 못해 버려진 가설이다. 출처: CS 182 Lecture 11 slides.

그림을 왼쪽부터 단계별로 따라가 보자.

  1. <START>에서 첫 단어 후보 중 로그 확률이 가장 높은 두 개, “he”(\(-0.7\))와 “I”(\(-0.9\))를 남긴다.
  2. 두 가설을 각각 상위 2개 단어로 확장하면 he hit(\(-1.7\)), he struck(\(-2.9\)), I was(\(-1.6\)), I got(\(-1.8\))의 \(k^2 = 4\)개가 생긴다. 누적 점수 상위 2개인 “I was”와 “he hit”만 남기고 struck, got은 버린다.
  3. 다시 확장하면 he hit a(\(-2.8\)), he hit me(\(-2.5\)), I was hit(\(-2.9\)), I was struck(\(-3.8\))이 되고, 상위 2개인 “he hit me”와 “he hit a”가 남는다. 앞 단계에서 1등이던 “I was”의 후손이 모두 탈락한 점에 주목하자. 빔 서치는 이처럼 앞에서 앞섰던 가설을 나중에 뒤집을 수 있다.
  4. 넷째 단계에서도 같은 방식으로 tart(\(-4.0\))와 on(\(-3.5\))이 탈락하고 pie(\(-3.4\)), with(\(-3.3\))가 남는다.

단계마다 \(k^2\)개만 평가하므로 비용은 길이에 선형이고, 모든 가능성을 다 보는 \(V^T\)에 비하면 아주 작다.

언제 멈추는가

  • 점수가 높은 가설 중 하나가 <EOS>로 끝나면, 그 가설을 점수와 함께 저장 하되 더 확장하지 않는다(확장할 것이 없다).
  • 남은 \(k\)개의 최고 가설을 계속 확장한다.
  • 정해진 최대 길이 \(T\)에 도달하거나, <EOS>로 끝나는 가설이 \(N\)개 모일 때까지 계속한다.

어떤 시퀀스를 고를 것인가

끝에는 예컨대 다음과 같은 후보가 남는다.

문장 \(\log p\)
he hit me with a pie -4.5
he threw a pie -3.2
I was hit with a pie that he threw -7.2

총 로그 확률만 보면 “he threw a pie”가 가장 좋아 보인다. 그러나 \(p < 1\)이므로 \(\log p < 0\)이고, 시퀀스가 길수록 음수를 더 많이 더해 점수가 낮아진다. 즉 짧은 문장이 부당하게 유리하다. 간단한 해결책은 시퀀스 길이로 나누는 것 이다.

빔 서치 요약

점수는 길이로 정규화한 로그 확률이다.

\[\text{score}(y_{1:T} \mid x_{1:T}) = \frac{1}{T} \sum_{t=1}^{T} \log p(y_t \mid x_{1:T}, y_{0:t-1})\]

각 시간 단계 \(t\)에서 다음을 반복한다.

  1. 추적 중인 각 가설 \(y_{1:t-1}\)에 대해 상위 \(k\)개 토큰을 찾는다.
  2. 그렇게 생긴 \(k^2\)개의 길이 \(t\) 시퀀스를 총 로그 확률로 정렬한다.
  3. <EOS>로 끝나는 시퀀스는 저장한다.
  4. 상위 \(k\)개만 남긴다.
  5. \(t < H\)이면 각 가설을 \(t+1\)로 진행한다.

마지막에 저장된 시퀀스 중 점수가 가장 높은 것을 반환한다.

어텐션 (Attention)

▶ Part 3

병목 문제

seq2seq 모델에서 원문 시퀀스에 대한 모든 정보는 인코더의 마지막 활성값 하나에 담겨야 한다. 이것이 병목(bottleneck) 이다. 긴 문장일수록 고정 크기 벡터 하나에 모든 정보를 넣기 어렵다. 그렇다면 디코딩하는 동안 원문 문장을 “엿볼(peek)” 수 있으면 어떨까?

키와 쿼리

인코더의 각 단계 \(t\)에서 활성값 \(h_t\)로부터 키(key) 벡터를 만든다. 키는 그 단계에 어떤 종류의 정보가 있는지를 나타낸다.

\[k_t = k(h_t), \quad \text{예: } k_t = \sigma(W_k h_t + b_k)\]

디코더의 각 단계 \(l\)에서는 활성값 \(s_l\)로부터 쿼리(query) 벡터를 만든다. 쿼리는 이 단계에서 무엇을 찾는지를 나타낸다.

\[q_l = q(s_l)\]

쿼리를 각 키와 비교해 가장 가까운 것을 찾는다. 거친 직관으로는 키가 “문장의 주어”를 인코딩하고 쿼리가 “문장의 주어”를 요청하는 식이다. 실제로 키와 쿼리가 무엇을 의미하는지는 학습 되며, 사람이 정할 필요가 없다.

어텐션 계산

인코더 단계 \(t\)에서 디코더 단계 \(l\)로의 어텐션 점수(attention score) 는 내적이다.

\[e_{t,l} = k_t \cdot q_l\]

직관적으로는 \(\arg\max_t e_{t,l}\)인 단계의 \(h_t\)를 디코더 단계 \(l\)로 보내고 싶다. 그러나 argmax는 미분할 수 없다. 그래서 softmax로 부드럽게 만든다.

\[\alpha_{t,l} = \frac{\exp(e_{t,l})}{\sum_{t'} \exp(e_{t',l})}, \qquad a_l = \sum_t \alpha_{t,l} h_t\]

\(a_l\)은 argmax 위치의 \(h_t\)를 근사한다.

Attention: keys from encoder states, a query from the decoder state, and their dot products 인코더 상태 \(h_t\)마다 키(주황), 디코더 상태 \(s_l\)에서 쿼리(노랑)를 만들고, 내적 \(e_{t,l} = k_t \cdot q_l\)로 어느 인코더 단계를 볼지 정한다. 출처: CS 182 Lecture 11 slides.

그림 가운데 아래의 막대 줄은 인코더(\(h_1, h_2, h_3\), 초록)와 디코더(\(s_0, \dots, s_3\), 파랑)다. 주황 점선 화살표와 “How can we do this?”가 해결하려는 문제를 나타낸다. 디코더 \(s_2\)가 “cute” 다음 단어를 예측할 때 인코더의 \(h_2\)(“chiot”, 강아지) 정보를 직접 가져오고 싶은 것이다. 위쪽에서 각 \(h_t\)는 학습된 함수 \(k(\cdot)\)를 거쳐 키가 되고, \(s_2\)는 \(q(\cdot)\)를 거쳐 쿼리가 된다. 쿼리에서 각 키로 뻗은 곡선 화살표가 내적 \(e_{t,l}\)이다.

그림 왼쪽 아래는 “가장 점수가 높은 \(h_t\)를 보낸다”는 직관이 미분 불가능하다는 점과, softmax 가중합 \(a_l = \sum_t \alpha_{t,l} h_t\)로 이를 근사하는 과정을 정리한다. 오른쪽은 “보낸다”는 것이 구체적으로 무엇인지, 즉 \(a_l\)을 판독 함수에 넣거나 다음 디코더 단계의 입력 \(\bar{s}_l\)에 이어 붙이는 방법을 보여 준다.

이렇게 얻은 어텐션 출력 \(a_l\)은 여러 방식으로 쓸 수 있다.

  • 판독(readout)에 사용한다: \(\hat{y}_l = f(s_l, a_l)\)
  • 다음 디코더 단계의 입력에 이어 붙인다: \(\bar{s}_l = [s_{l-1};\, a_{l-1};\, x_l]\) (입력에 \(a\)를 덧붙이는 것과 비슷하다)
  • 다층 RNN이면 다음 RNN 층의 입력으로 이어 붙인다.

슬라이드의 예시는 “mignon chiot Un”(역순 입력)을 인코딩한 \(h_1, h_2, h_3\)에서 키를 만들고, 디코더 \(s_0\)(<START>)의 쿼리 \(q_1\)과 비교해 \(\alpha_1, \alpha_2, \alpha_3\)을 구한 뒤, \(\sum_t \alpha_t h_t\)로 첫 출력 “A”를 예측하는 과정을 단계별로 보여 준다.

Attention walkthrough at the third decoder step: softmax weights concentrate on chiot 셋째 디코더 단계의 어텐션. 쿼리 \(q_3\)와 키 \(k_1, k_2, k_3\)의 내적을 softmax하면 \(\alpha_2\)(“chiot”)가 가장 크고, 가중합 \(\sum_t \alpha_t h_t\)가 \(s_2\)와 함께 \(\hat{y}_{i,3}\)(“puppy”) 예측에 쓰인다. 출처: CS 182 Lecture 11 slides.

그림은 같은 계산을 셋째 단계에서 아래부터 위로 보여 준다. (1) 인코더 상태 \(h_1, h_2, h_3\)에서 키 \(k_1, k_2, k_3\)를, 디코더 상태 \(s_2\)에서 쿼리 \(q_3\)를 만든다. (2) 동그라미 안의 점은 내적이며, \(q_3\)가 세 키와 각각 내적되어 \(e_1, e_2, e_3\)이 된다. (3) softmax를 거치면 막대그래프의 \(\alpha_1, \alpha_2, \alpha_3\)이 되는데, “puppy”를 낼 차례이므로 “chiot”에 해당하는 \(\alpha_2\)가 가장 크다. (4) 이 가중치로 \(h_t\)들을 더한 벡터가 오른쪽 상자 \(\sum_t \alpha_t h_t\)이고, 이것이 \(s_2\)와 함께 노란 화살표의 출력 \(\hat{y}_{i,3}\)로 들어간다.

입력을 역순으로 넣었기 때문에 “chiot”는 인코더의 둘째 칸에 있지만, 어텐션은 위치가 아니라 키와 쿼리의 내용으로 대상을 고르므로 어순이 달라도 대응하는 단어를 찾을 수 있다.

어텐션 변형

가장 단순한 선택. 키와 쿼리 함수를 항등 함수로 둔다.

\[k_t = h_t, \quad q_l = s_l, \quad e_{t,l} = h_t \cdot s_l\]

곱셈형(multiplicative) 어텐션. 학습되는 행렬 \(W_e\) 하나만 둔다.

\[e_{t,l} = h_t^\top W_e s_l\]

이는 \(k_t = W_k h_t\), \(q_l = W_q s_l\)로 둔 것과 같다(\(W_e = W_k^\top W_q\)).

학습된 값 인코딩(value encoding). \(h_t\)를 그대로 더하지 않고 학습되는 함수 \(v(\cdot)\)를 거쳐 더한다.

\[a_l = \sum_t \alpha_{t,l}\, v(h_t)\]

키, 쿼리, 값(value)을 따로 두는 이 형태가 다음 강의의 Transformer로 이어진다.

어텐션이 좋은 이유

  • 모든 디코더 단계가 모든 인코더 단계와 직접 연결된다.
  • 연결 경로의 길이가 \(O(T)\)에서 \(O(1)\)로 줄어든다. 따라서 기울기도 \(O(1)\) 길이로 전파되어 훨씬 잘 흐른다.
  • 매우 긴 시퀀스에서 특히 중요하다.
  • 병목이 크게 완화된다.
  • 실제로 훨씬 잘 작동한다.

정리

  • RNN 언어 모델은 토큰 시퀀스를 자기회귀로 예측하며, <START>와 <EOS> 토큰으로 생성의 시작과 끝을 표시한다.
  • 조건부 언어 모델은 인코더(CNN 또는 RNN)가 만든 벡터로 디코더를 초기화한다. 두 RNN을 쓰면 seq2seq 모델이 되고, 짝지은 데이터로 끝에서 끝까지 학습한다.
  • 탐욕적 디코딩은 전체 시퀀스 확률을 최대화하지 못한다. 디코딩은 트리 탐색 문제이며, 빔 서치는 상위 \(k\)개 가설만 유지하는 근사 탐색이다.
  • 빔 서치는 로그 확률을 더하고, 짧은 문장이 유리해지지 않도록 길이로 나눈 점수를 쓴다.
  • 인코더 마지막 상태 하나에 모든 정보를 담는 것은 병목이다. 어텐션은 쿼리와 키의 내적을 softmax해 인코더 상태의 가중합을 디코더에 전달한다.
  • 어텐션은 모든 디코더 단계를 모든 인코더 단계에 \(O(1)\) 경로로 연결해 기울기 흐름을 개선하고, 긴 시퀀스에서 성능을 크게 높인다.