3 Inseok Kong Schedule

Q-93. RNN에 대해서 설명해 주세요

RNN은 은닉 상태를 다음 시점으로 넘기면서 같은 가중치를 반복 적용해 가변 길이 시퀀스를 처리하는 신경망이고, 긴 시퀀스에서는 기울기 소실과 폭발이 어려움이다.

면접 답변

RNN(순환 신경망)은 시퀀스를 한 시점씩 읽으면서, 지금까지의 정보를 담은 은닉 상태를 다음 시점으로 넘기는 신경망입니다. 모든 시점이 같은 가중치를 공유하므로 입력 길이가 달라도 처리할 수 있고, 순서 정보를 반영할 수 있습니다. 학습은 시간 축으로 펼친 그래프에 역전파를 적용하는 BPTT로 합니다. 문제는 펼친 그래프가 아주 깊어서 같은 행렬이 반복해서 곱해진다는 점입니다. 예를 들어 배율이 0.9이면 50단계 뒤 기울기는 약 0.005배로 줄고, 1.1이면 약 117배로 커집니다. 그래서 폭발에는 기울기 클리핑을, 소실에는 LSTM이나 GRU 같은 게이트 구조를 쓰고, 긴 문맥을 병렬로 다뤄야 하는 많은 작업은 지금은 Transformer가 맡고 있습니다.

자세한 설명

구조

시점 \(t\)의 입력을 \(\mathbf{x}_t\), 은닉 상태를 \(\mathbf{h}_t\), 출력을 \(\hat{\mathbf{y}}_t\)라 하자. 기본 RNN은 다음과 같다.

\[\mathbf{h}_t = \phi(W_h \mathbf{h}_{t-1} + W_x \mathbf{x}_t + \mathbf{b}), \qquad \hat{\mathbf{y}}_t = W_y \mathbf{h}_t + \mathbf{c}\]

\(\phi\)는 보통 tanh 같은 비선형 함수이고, \(W_h, W_x, W_y, \mathbf{b}, \mathbf{c}\)는 모든 시점에서 공유하는 파라미터이다.

작은 예를 보자. 스칼라이고 \(\phi\)가 항등 함수이며 \(W_h = 0.5\), \(W_x = 1\), \(b = 0\), \(h_0 = 0\)이라 하자. 입력이 \(1, 2\)이면 \(h_1 = 1\), \(h_2 = 0.5 \cdot 1 + 2 = 2.5\)이다. 입력 순서를 \(2, 1\)로 바꾸면 \(h_2 = 2\)가 되어, 같은 값이라도 순서가 다르면 상태가 달라진다.

쓰는 방식은 문제마다 다르다. 마지막 상태만 쓰면 문장 분류(many-to-one), 매 시점 출력하면 품사 태깅(many-to-many), 인코더와 디코더를 묶으면 번역(seq2seq)이 된다.

BPTT와 기울기 소실, 폭발

시점 \(T\)의 손실 \(L_T\)를 과거 상태 \(\mathbf{h}_k\)로 미분하면 야코비안(Jacobian)의 곱이 나온다.

\[\frac{\partial L_T}{\partial \mathbf{h}_k} = \frac{\partial L_T}{\partial \mathbf{h}_T} \prod_{t=k+1}^{T} \frac{\partial \mathbf{h}_t}{\partial \mathbf{h}_{t-1}}, \qquad \frac{\partial \mathbf{h}_t}{\partial \mathbf{h}_{t-1}} = \operatorname{diag}\big(\phi'(\cdot)\big) W_h\]

곱의 길이가 \(T - k\)이므로 길이가 길수록 값이 지수적으로 줄거나 커지기 쉽다. 스칼라라면 \(0.9^{50} \approx 0.0052\), \(1.1^{50} \approx 117\)이다.

행렬에서는 \(W_h\)의 스펙트럼 반지름 \(\rho\)(고윳값 절댓값의 최댓값)가 곱의 장기 거동을 정한다. 같은 무작위 \(50 \times 50\) 행렬의 크기를 조절해 \(W_h^t\)의 스펙트럼 노름을 계산했다. 비선형 함수는 뺀 단순화된 계산이다.

\(\rho\) \(t = 10\) \(t = 50\) \(t = 100\)
0.9 0.896 0.013 0.00006
1.0 2.57 2.58 2.38
1.1 6.67 303 32,749

tanh처럼 \(\lvert \phi' \rvert \le 1\)인 경우, \(W_h\)의 최대 특이값이 1보다 작으면 기울기 소실의 충분 조건이고, 폭발하려면 최대 특이값이 1보다 커야 한다(Pascanu et al., 2013).

해결 방법

문제 방법 원리
기울기 폭발 기울기 클리핑 기울기 노름이 임계값을 넘으면 방향은 두고 크기만 줄임
기울기 소실 LSTM, GRU 게이트로 정보를 덧셈에 가깝게 전달해 곱셈 경로를 완화
긴 시퀀스 학습 비용 Truncated BPTT 일정 길이까지만 역전파
장거리 정보 병목 어텐션 과거 상태를 직접 참조

LSTM은 기울기 소실을 완전히 없애는 것이 아니라 크게 완화할 뿐이다. 구조는 Deep Learning 10에서, 기울기 유도는 Deep Learning Discussion 6에서 다룬다.

Transformer와의 차이

관점 RNN Transformer
처리 시점 순서대로, 병렬화 어려움 시점을 동시에 처리, 학습 병렬화 쉬움
장거리 관계 많은 단계를 거침 어텐션으로 직접 연결
메모리 고정 크기 상태로 스트리밍에 자연스러움 긴 문맥에서 어텐션 비용이 큼

RNN이 완전히 사라진 것은 아니다. 지연과 메모리 제약이 큰 스트리밍 음성이나 온디바이스 시계열에서는 지금도 후보가 된다.

관련 개념

  • 역전파: BPTT는 시간 축으로 펼친 계산 그래프의 역전파이다. Q-16을 참고한다.
  • Jacobian: 은닉 상태 사이의 야코비안 곱이 기울기를 결정한다. Q-120을 참고한다.
  • Seq2seq와 Attention: RNN 인코더의 정보 병목을 푸는 과정은 Deep Learning 11에서 다룬다.
  • CNN: 공간에서 가중치를 공유한다는 점이 대응된다. Q-92를 참고한다.

꼬리 질문

Q. 왜 은닉층에 ReLU보다 tanh를 주로 쓰나요? 같은 가중치를 반복 적용하므로 ReLU처럼 위가 열린 함수는 상태가 폭주하기 쉽고, tanh는 값을 묶어 줍니다. 다만 항등 초기화와 함께 ReLU를 쓰는 연구도 있어서 절대적인 규칙은 아닙니다.

Q. LSTM과 GRU는 무엇이 다른가요? LSTM은 셀 상태와 은닉 상태를 분리하고 입력, 망각, 출력 게이트 세 개를 쓰며, GRU는 상태를 하나로 합치고 게이트 두 개를 씁니다. GRU는 파라미터가 적고, 성능의 우열은 문제에 따라 다릅니다.

Q. 양방향 RNN은 언제 쓸 수 없나요? 미래 입력을 사용하므로 실시간 예측이나 스트리밍처럼 미래를 볼 수 없는 작업에는 그대로 쓸 수 없습니다. 문장 전체를 먼저 볼 수 있는 태깅 같은 작업에 적합합니다.