3 Inseok Kong Schedule

Deep Learning 6: Convolutional Networks

이미지 특징의 국소성에서 출발해 합성곱 층과 풀링을 정의하고, 패딩·스트라이드를 거쳐 AlexNet, VGG, ResNet의 구조를 살펴본다.

합성곱 신경망의 기본 아이디어

▶ Part 1

완전연결 층으로 이미지를 다루는 문제

\(128 \times 128\) 컬러 이미지를 벡터로 펼치면 \(128 \cdot 128 \cdot 3 = 49{,}152\)차원이 된다. 이를 완전연결(fully connected) 선형 층에 넣으면, 은닉 유닛 하나당 가중치가 약 5만 개 필요하고 은닉 유닛이 수천 개라면 첫 층만으로 수억 개의 파라미터가 생긴다. 게다가 이 층은 이미지의 공간 구조를 전혀 활용하지 않는다. 같은 고양이가 왼쪽에 있든 오른쪽에 있든 완전히 다른 가중치가 반응해야 한다. 더 나은 방법이 필요하다.

관찰: 유용한 특징은 국소적이다

첫 층은 경계(edge) 검출기, 다음 층은 귀나 코 같은 부분을 검출한다고 생각해 보자. 어떤 이미지 조각(patch)에 그런 특징이 있는지 판단하려면 그 조각만 보면 충분하다. 이미지 전체를 볼 필요가 없다.

이 관찰에서 다음 설계가 나온다.

  • 작은 “미니 층”을 하나 정의한다. 예를 들어 \(3 \times 3 \times 3\) 조각(높이 3, 너비 3, 깊이 3 채널)을 입력으로 받아 4개의 값을 출력하는 선형 층이다. 이를 필터(filter) 라 한다.
  • 이 필터를 이미지의 모든 위치에 같은 가중치로 적용한다. 위치마다 다른 출력이 나온다.
  • 출력에는 늘 그렇듯 비선형 함수를 적용한다.

결과는 높이와 너비가 원래 이미지와 (거의) 같고, 깊이가 필터 개수(여기서는 4)인 새로운 “이미지”다. 각 채널은 하나의 특징 검출기가 이미지의 각 위치에서 얼마나 강하게 반응했는지를 나타낸다. 이것이 합성곱 층(convolutional layer) 이다.

파라미터 수는 필터 크기에만 의존한다. 위 예에서는 \(3 \cdot 3 \cdot 3 \cdot 4 = 108\)개의 가중치와 4개의 편향이 전부다. 이미지가 아무리 커도 변하지 않는다.

풀링으로 해상도 줄이기

합성곱 층의 출력은 여전히 원래 이미지만큼 크다. 최종적으로 하나의 레이블을 출력하려면 어디선가 해상도를 줄여야 한다.

최대 풀링(max pooling) 은 각 채널마다 작은 영역(예: \(2 \times 2\))의 최댓값을 취한다. \(2 \times 2\) 영역을 겹치지 않게 적용하면 \(128 \times 128 \times 4\)가 \(64 \times 64 \times 4\)가 된다. 최댓값을 취하므로 특징이 영역 안에서 조금 이동해도 출력이 거의 같다. 즉 작은 평행이동에 강건해진다.

이제 합성곱과 풀링을 번갈아 쌓는다.

\[128 \times 128 \times 3 \xrightarrow{\text{conv}} 128 \times 128 \times 4 \xrightarrow{\text{pool}} 64 \times 64 \times 4 \xrightarrow{\text{conv}} 64 \times 64 \times 8 \xrightarrow{\text{pool}} 32 \times 32 \times 8 \to \cdots\]

층이 깊어질수록 공간 해상도는 줄고 채널 수는 는다.

Convolution and max pooling stacked on a 128x128x3 image 합성곱과 최대 풀링을 번갈아 쌓은 모습. 위는 \(3 \times 3 \times 3\) 조각 하나가 출력의 한 위치(주황 막대)로 연결되는 그림, 아래는 \(128 \times 128 \times 3\) 입력(초록)이 합성곱(파랑)과 \(2 \times 2\) 풀링(노랑)을 거치며 작아지는 과정이다. 출처: CS 182 Lecture 6 slides.

아래 그림을 왼쪽부터 따라가 보자. 초록 판은 깊이 3(RGB)인 입력 이미지다. 그 옆의 작은 파란 상자들은 같은 필터가 여러 위치에 적용되는 모습이고, 그 결과가 높이·너비는 128로 같고 깊이가 4인 파란 블록이다. 파란 블록 오른쪽 위 구석의 노란 \(2 \times 2 \times 4\) 영역 하나가 풀링을 거쳐 다음 노란 블록의 한 위치가 되므로, 노란 블록은 \(64 \times 64 \times 4\)다. 같은 과정을 한 번 더 거치면 \(64 \times 64 \times 8\)을 지나 \(32 \times 32 \times 8\)이 된다. 위 그림에 적힌 계산(\(3 \times 3 \times 3 = 27\)차원 조각을 64차원으로 보내는 데 가중치 \(64 \times 27 = 1728\)개)은 출력 채널을 64개로 둔 경우의 파라미터 수다. 출력 위치가 아무리 많아도 이 수는 변하지 않는다.

실제 합성곱 신경망: LeNet

손글씨 숫자 인식을 위한 LeNet이 이런 구조의 고전적인 예다. 합성곱 층과 풀링(서브샘플링) 층을 몇 번 반복한 뒤, 충분히 작아진 표현을 완전연결 층에 넣어 최종 분류를 한다.

LeNet architecture LeNet의 구조. \(32 \times 32\) 입력에 합성곱(C1)과 서브샘플링(S2), 다시 합성곱(C3)과 서브샘플링(S4)을 적용한 뒤 완전연결 층(C5, F6)을 거쳐 10개 출력을 낸다. 출처: CS 182 Lecture 6 slides.

그림의 각 단계를 크기로 따라가면 구조가 잘 보인다. \(32 \times 32\) 입력에 \(5 \times 5\) 필터 6개를 패딩 없이 적용하면 \(28 \times 28\) 특징 맵 6장(C1)이 된다. 서브샘플링(풀링)으로 높이·너비를 절반으로 줄이면 \(14 \times 14\) 6장(S2), 다시 \(5 \times 5\) 합성곱으로 \(10 \times 10\) 16장(C3), 풀링으로 \(5 \times 5\) 16장(S4)이 된다. 이 \(5 \times 5 \times 16 = 400\)개의 값을 120개(C5), 84개(F6) 유닛의 완전연결 층에 차례로 넣고, 마지막에 숫자 10개에 대한 출력을 낸다. 그림의 작은 사각형과 그 사각형에서 나가는 선은 출력의 한 위치가 앞 층의 어느 국소 영역을 보는지를 나타낸다.

합성곱 층의 구현

▶ Part 2

요약: 합성곱 신경망의 세 요소

  • 합성곱 층: 각 층은 국소적이다. 출력은 (대략) 같은 높이·너비를 갖고, 채널 수는 필터 개수와 같은 “이미지”다. 이미지에서 수백만 개의 파라미터가 필요해지는 것을 피하는 방법이다.
  • 풀링: 단일 출력으로 가려면 해상도를 줄여야 한다. 최대 풀링은 각 영역의 최댓값으로 다운샘플링하며, 작은 평행이동에 강건하게 만든다.
  • 마무리: 충분히 작아진 텐서를 평탄화(flatten)해 벡터로 만들고, 일반적인 완전연결 층에 넣는다.

N차원 배열(텐서)로 생각하기

활성화는 높이 × 너비 × 채널의 3차원 텐서다. 가장 안쪽(오른쪽) 차원, 즉 채널은 벡터·행렬처럼 다룬다. 바깥쪽 차원(높이·너비)은 브로드캐스트된다. 즉 위치마다 같은 연산을 원소별로 적용한다. 따라서 합성곱은 각 위치에서 수행하는 작은 행렬곱, 다시 말해 위치마다 적용되는 작은 선형 층이다.

수식으로 쓴 합성곱 층

입력 \(a^{(1)}\)의 크기를 \(H_{\text{in}} \times W_{\text{in}} \times C_{\text{in}}\), 출력 \(z^{(2)}\)의 크기를 \(H_{\text{out}} \times W_{\text{out}} \times C_{\text{out}}\)라 하자. 가중치는 4차원 텐서다.

\[W^{(2)} : H_F \times W_F \times C_{\text{out}} \times C_{\text{in}}\]

필터 중심이 \((i, j)\)에 오도록 맞추면 출력 채널 \(k\)의 값은 다음과 같다.

\[z^{(2)}[i, j, k] = \sum_{l=0}^{H_F - 1} \sum_{m=0}^{W_F - 1} \sum_{n=0}^{C_{\text{in}} - 1} W^{(2)}[l, m, k, n] \; a^{(1)}\!\left[i + l - \tfrac{H_F - 1}{2},\; j + m - \tfrac{W_F - 1}{2},\; n\right] + b^{(2)}[k]\]

채널이 하나뿐이면 익숙한 2차원 형태가 된다.

\[z^{(2)}[i, j] = \sum_{l=0}^{H_F - 1} \sum_{m=0}^{W_F - 1} W^{(2)}[l, m] \; a^{(1)}\!\left[i + l - \tfrac{H_F - 1}{2},\; j + m - \tfrac{W_F - 1}{2}\right]\]

활성화 함수는 이전처럼 원소별로 적용한다: \(a^{(2)}[i, j, k] = \sigma(z^{(2)}[i, j, k])\). 원리는 단순하지만 쓰기에는 조금 번거롭다. (엄밀히 말하면 신호처리의 합성곱과 달리 필터를 뒤집지 않으므로 상호상관(cross-correlation)이지만, 딥러닝에서는 관례적으로 합성곱이라 부른다.)

패딩과 가장자리

이미지 가장자리에서는 필터의 일부가 이미지 밖으로 나간다. 두 가지 선택지가 있다.

방법 1: 가장자리를 잘라낸다. 필터가 완전히 들어가는 위치에서만 출력을 계산한다. 예를 들어 입력이 \(32 \times 32 \times 3\)이고 \(5 \times 5\) 필터 6개를 쓰면 출력은 \(28 \times 28 \times 6\)이다. 문제는 층마다 활성화가 줄어든다는 점이다.

Convolution at image edges and the cut-off-edges option 가장자리 처리. 위 왼쪽은 필터가 이미지 안에 완전히 들어가는 경우, 위 오른쪽은 필터가 가장자리에 걸쳐 일부 값(?)이 없는 경우다. 아래는 방법 1(가장자리를 잘라냄)을 쓰면 \(5 \times 5\) 입력에서 \(3 \times 3\) 출력만 남는다는 것을 보여 준다. 출처: CS 182 Lecture 6 slides.

위 오른쪽 그림에서 필터 중심을 이미지의 왼쪽 위 모서리 칸에 두면 필터의 첫 행과 첫 열이 이미지 밖으로 나가고, 그 자리의 입력값(“?”)이 정의되지 않는다. 방법 1은 이런 위치를 아예 계산하지 않는다. 아래 그림처럼 \(3 \times 3\) 필터는 중심에서 양쪽으로 1칸씩(“반지름” \((H_F - 1)/2 = 1\)) 필요하므로, \(5 \times 5\) 입력에서 중심이 될 수 있는 위치는 가운데 \(3 \times 3\)뿐이다. 오른쪽 아래의 문제도 같은 방식으로 푼다. \(5 \times 5\) 필터의 반지름은 2이므로 \(H_{\text{out}} = 32 - 2 \times 2 = 28\)이고, 필터가 6개이므로 출력은 \(28 \times 28 \times 6\)이다.

방법 2: 영 패딩(zero padding). 이미지 바깥을 0으로 채운다. 크기가 보존되고 구현이 단순하다. 경계에서 약간 이상한 효과가 생기지만 보통 큰 문제가 아니어서 가장 널리 쓰인다. 0이 “평균적인” 값이 되도록 입력에서 이미지 평균을 먼저 빼 두어야 한다(실제로는 더 정교한 대비 정규화를 쓰기도 한다).

스트라이드 합성곱

높은 해상도에서 모든 위치에 합성곱을 계산하면 비용이 매우 크다. 일부 위치를 건너뛰면 어떨까? 건너뛰는 간격을 스트라이드(stride) 라 한다. 스트라이드 2이면 한 칸씩 건너뛰어 출력의 높이·너비가 절반이 된다. 스트라이드 합성곱이 합성곱 + 풀링만큼 좋다고 보는 사람도 있다.

입력 크기 \(H\), 필터 크기 \(F\), 패딩 \(P\), 스트라이드 \(S\)일 때 출력 크기는 다음과 같다.

\[H_{\text{out}} = \frac{H - F + 2P}{S} + 1\]

합성곱 신경망의 예: AlexNet, VGG, ResNet

▶ Part 3

AlexNet

AlexNet(Krizhevsky et al., 2012)은 LeNet을 현대화한 듯한 “고전적인” 중간 깊이 합성곱 신경망이다. 2009년에 공개된 ImageNet(약 150만 장, 1000개 범주) 대규모 시각 인식 대회(ILSVRC)에서 처음으로 최고 성능을 낸 신경망으로 유명하다. 원래 두 개의 GPU에 나눠 학습해서 구조도가 둘로 갈라져 있지만, 지금은 신경 쓰지 않아도 된다.

층 설정 출력 크기
CONV1 \(11 \times 11\), 96개, 스트라이드 4, 패딩 없음 \(55 \times 55 \times 96\)
POOL1 \(3 \times 3\), 스트라이드 2 (겹치는 영역) \(27 \times 27 \times 96\)
NORM1 국소 정규화  
CONV2 \(5 \times 5\), 256개, 영 패딩 \(27 \times 27 \times 256\)
POOL2 \(3 \times 3\), 스트라이드 2 \(13 \times 13 \times 256\)
NORM2 국소 정규화  
CONV3 \(3 \times 3\), 384개, 영 패딩 \(13 \times 13 \times 384\)
CONV4 \(3 \times 3\), 384개, 영 패딩 \(13 \times 13 \times 384\)
CONV5 \(3 \times 3\), 256개, 영 패딩 \(13 \times 13 \times 256\)
POOL3 \(3 \times 3\), 스트라이드 2 \(6 \times 6 \times 256\)
FC6 \(9{,}216 \to 4{,}096\) \(4{,}096\)
FC7 \(4{,}096 \to 4{,}096\) \(4{,}096\)
FC8 \(4{,}096 \to 1{,}000\), softmax \(1{,}000\)

입력은 \(224 \times 224 \times 3\)이다. 마지막 층을 제외한 모든 합성곱·완전연결 층 뒤에는 ReLU가 붙는다.

CONV1의 파라미터 수. 필터 하나가 \(11 \times 11 \times 3\)이고 96개이므로 가중치는 \(11 \cdot 11 \cdot 3 \cdot 96 = 34{,}848\)개, 편향은 96개, 합계 \(34{,}944\)개다.

AlexNet architecture and the first conv layer AlexNet. 위는 원 논문의 구조도(두 GPU에 나눠 학습해서 위아래로 갈라져 있음), 아래는 첫 합성곱 층(CONV1)과 첫 풀링 층(POOL1)을 블록으로 다시 그린 것이다. 출처: CS 182 Lecture 6 slides.

아래 블록 그림은 표의 첫 두 줄을 그대로 나타낸다. \(224 \times 224 \times 3\) 입력(초록)에 \(11 \times 11\) 필터 96개를 스트라이드 4로 적용하면 \(55 \times 55 \times 96\)(파랑)이 된다. 스트라이드가 4이므로 높이·너비가 대략 4분의 1로 줄어든다. 그 위에 ReLU를 적용하고, \(3 \times 3\) 영역을 스트라이드 2로 최대 풀링하면 \(27 \times 27 \times 96\)(노랑)이 된다. 풀링 영역(3)이 스트라이드(2)보다 크므로 이웃한 풀링 영역이 서로 겹친다. 위 구조도에서 오른쪽 끝의 2048짜리 막대 두 쌍이 FC6, FC7의 4096 유닛을 두 GPU에 반씩 나눈 것이고, 마지막 1000이 출력 클래스 수다.

학습에는 이후 강의에서 다룰 정규화 기법이 쓰였다: 데이터 증강(data augmentation), 드롭아웃(dropout), 국소 정규화(local normalization, 지금은 거의 쓰지 않지만 다른 정규화는 쓴다).

VGG

VGG는 지금도 자주 쓰이는 모델로, 이전 최고 모델보다 깊이가 크게 늘었다. 여러 개의 \(3 \times 3\) 합성곱을 쌓고 그 사이에 해상도를 줄이는 “균질한” 블록 구조가 이때부터 보이기 시작한다.

  • \(224 \times 224 \times 64\): 합성곱 2개 → \(2 \times 2\) 풀링
  • \(112 \times 112 \times 128\): 합성곱 2개 → 풀링
  • \(56 \times 56 \times 256\): 합성곱 3개 → 풀링
  • \(28 \times 28 \times 512\): 합성곱 3개 → 풀링
  • \(14 \times 14 \times 512\): 합성곱 3개 → 풀링 → \(7 \times 7 \times 512\)
  • FC: \(25{,}088 \to 4{,}096 \to 4{,}096 \to 1{,}000\), softmax

층이 많을수록 처리가 많아지므로 같은 블록을 반복한다. 두 가지 질문을 던질 수 있다.

  • 메모리를 가장 많이 쓰는 곳: 해상도가 높은 앞쪽 합성곱 층의 활성화다(\(224 \times 224 \times 64\) 텐서가 두 개).
  • 파라미터가 가장 많은 곳: 마지막 완전연결 층이다. 첫 FC 층만 \(25{,}088 \times 4{,}096 \approx 1\)억 개로, 전체 약 1억 3800만 개 중 대부분을 차지한다.

ResNet

ResNet(He et al.)은 152층에 이른다(작은 18층 버전 ResNet-18도 있다). 두 가지 변화가 눈에 띈다.

  • 끝에 거대한 완전연결 층을 두지 않는다. 모든 위치에 대해 평균 풀링(average pooling)을 하고 선형 층 하나만 둔다.
  • 잔차 연결(residual connection) 을 쓴다.

잔차 블록은 층의 출력을 입력에 더한다.

\[a^{(l+1)} = a^{(l)} + f\!\left(a^{(l)}\right)\]

Plain block vs. residual block 일반적인 두 층 블록(왼쪽)과 잔차 블록(오른쪽). 잔차 블록은 두 층이 계산한 \(F(x)\)에 입력 \(x\)를 그대로 더해 \(H(x) = F(x) + x\)를 출력한다. 출처: CS 182 Lecture 6 slides.

왼쪽 블록은 두 층이 원하는 출력 \(H(x)\) 전체를 직접 만들어야 한다. 오른쪽 블록에서는 입력 \(x\)가 오른쪽의 “identity” 경로를 따라 아무 변환 없이 출력 쪽으로 건너가 더해진다. 따라서 두 층은 \(H(x)\) 대신 입력과의 차이, 즉 잔차 \(F(x) = H(x) - x\)만 배우면 된다. 층이 아무것도 하지 않는 것이 최선이라면 \(F(x) = 0\), 즉 가중치를 0 근처로 두기만 하면 블록 전체가 항등함수가 된다. 왼쪽 블록이 항등함수를 표현하려면 가중치를 정확히 맞춰야 하는 것과 대조적이다.

깊은 신경망은 왜 학습이 어려운가

역전파에서 기울기는 각 층의 야코비안(Jacobian)을 연쇄적으로 곱해 얻는다. 아주 많은 수를 곱하면 어떻게 될까?

  • 대부분의 수가 1보다 작으면 0에 가까워진다(기울기 소실).
  • 대부분의 수가 1보다 크면 무한대로 발산한다(기울기 폭발).
  • 모든 수가 1에 가까울 때만 적당한 값이 나온다.

잔차 블록의 야코비안은 다음과 같다.

\[\frac{d a^{(l+1)}}{d a^{(l)}} = I + \frac{d f}{d a^{(l)}}\]

가중치가 너무 크지 않으면 두 번째 항은 작다. 따라서 야코비안이 항등행렬에 가까워지고, 이를 많이 곱해도 기울기가 잘 유지된다. 이것이 잔차 연결이 좋은 아이디어인 이유다.

CIFAR-10 error of plain nets vs. ResNets of increasing depth CIFAR-10에서 깊이를 바꿔 가며 학습한 일반 네트워크(왼쪽)와 ResNet(오른쪽)의 오류율. 실선은 테스트 오류, 점선은 학습 오류이고, 가로축은 반복 횟수다. 출처: CS 182 Lecture 6 slides (He et al.).

왼쪽 그래프에서는 층을 20, 32, 44, 56개로 늘릴수록 오류가 오히려 커진다. 56층의 학습 오류(빨간 점선)조차 20층보다 높으므로, 이는 과적합이 아니라 최적화가 잘 되지 않는 문제다. 깊은 네트워크는 얕은 네트워크가 표현하는 함수를 모두 표현할 수 있는데도(추가된 층이 항등함수가 되면 된다) 학습으로 그런 해를 찾지 못한다. 오른쪽 그래프에서는 순서가 뒤집혀, 20층에서 110층으로 갈수록 오류가 줄어든다. 잔차 연결이 깊은 네트워크의 기울기 흐름을 유지해 깊이의 이점을 실제로 살린다는 증거다.

ResNet 설계 요약

  • 여러 층으로 된 “범용” 블록을 쌓고, 그 사이에 소수의 풀링(또는 스트라이드) 연산을 둔다.
  • 끝에는 거대한 FC 층 대신 모든 x/y 위치에 대한 평균 풀링과 작은 FC 층을 두고 softmax로 보낸다.
  • 잔차 연결로 기울기가 잘 흐르게 한다.

정리

  • 이미지의 유용한 특징은 국소적이므로, 작은 필터를 모든 위치에 같은 가중치로 적용하는 합성곱 층으로 파라미터 수를 크게 줄인다.
  • 합성곱은 각 위치에서 채널 차원에 대해 수행하는 작은 행렬곱이며, 출력 채널 수는 필터 개수와 같다.
  • 최대 풀링과 스트라이드는 해상도를 줄여 계산을 줄이고 작은 평행이동에 강건하게 만든다. 마지막에는 평탄화해 FC 층에 넣는다.
  • 영 패딩은 크기를 보존하는 가장 흔한 방법이며, 출력 크기는 \((H - F + 2P)/S + 1\)이다.
  • AlexNet은 ImageNet에서 처음 최고 성능을 낸 CNN이고, VGG는 \(3 \times 3\) 합성곱 블록을 깊게 쌓았으며 파라미터 대부분이 마지막 FC 층에 있다.
  • ResNet은 잔차 연결로 야코비안을 항등행렬 근처에 유지해 수백 층에서도 기울기가 소실·폭발하지 않게 하고, 끝에는 평균 풀링을 쓴다.