- UC Berkeley CS 182 (Spring 2021) Discussion 5 정리
- 관련 강의: Deep Learning 8
이 디스커션은 비전 응용과 신경망 시각화 입문(스타일 전이, DeepDream)을 다룬다. 먼저 네 가지 주요 컴퓨터 비전 문제를 복습한다.
- 이미지 분류(image classification): 이미지가 주어지면 각 클래스에 속할 확률을 출력한다. 지금까지 수업의 주된 대상이었다.
- 물체 위치 추정(object localization): 이미지에 물체가 하나뿐이고 관심 클래스도 미리 알 때, 그 물체의 경계 상자를 구한다. 상자 회귀(L2 손실)와 분류(교차 엔트로피 손실)를 두 손실의 합으로 함께 학습하는 경우가 많다.
- 물체 검출(object detection): 여러 물체와 각각의 경계 상자를 찾는다. 같은 클래스의 인스턴스가 여러 개 있을 수 있으므로(예: 여러 마리의 개) 개수가 정해지지 않은 상자들을 예측해야 한다. 성능은 mAP(mean average precision)로 측정하며, Faster R-CNN 같은 방법으로 푼다.
- 의미론적 분할(semantic segmentation): 모든 픽셀에 레이블을 붙인다. 픽셀마다 CNN 분류기를 돌리는 단순한 방법도 있지만 U-Net 같은 더 나은 해법이 있다. 같은 클래스의 인스턴스를 구분하지 않는다는 점에서 인스턴스 분할(instance segmentation)과 다르다.
1. mAP 계산
문제
물체 검출에서 흔한 지표인 mAP는 클래스마다 평균 정밀도(average precision, AP)를 구한 뒤 클래스에 대해 평균한다. 검출이 정답 상자와 IoU가 어떤 임계값보다 크면 참 양성(true positive)으로 보며, AP는 각 클래스의 정밀도-재현율(precision/recall) 곡선 아래 넓이다. 검출기를 돌려 다음 결과를 얻었다.
| 예 | 예측/정답 IoU |
|---|---|
| A | 0.29 |
| B | 0.11 |
| C | 0.701 |
| D | 0.001 |
| E | 0.92 |
| F | 0.45 |
모든 후보가 실제로 물체에 대응한다고 하고 IoU 임계값을 0.5로 둘 때 AP는 얼마인가? 임계값 0과 1을 쓸 때의 mAP는 얼마인가? (mAP는 강의에서 명시적으로 다루지 않았다.)
풀이
이 문제의 풀이는 AP를 “임계값에서 참 양성으로 판정되는 검출의 비율”로 단순화해 계산한다.
임계값 0.5. IoU가 0.5를 넘는 것은 C(0.701)와 E(0.92) 두 개뿐이다. 나머지 네 개(A, B, D, F)는 거짓 양성이다. 따라서 다음과 같다.
\[\mathrm{AP}(0.5) = \frac{2}{2 + 4} = \frac{1}{3}\]임계값 0과 1. 임계값이 0이면 모든 검출의 IoU가 0보다 크므로 여섯 개 모두 참 양성이고 \(\mathrm{AP}(0) = 1\)이다. 임계값이 1이면 IoU가 1을 넘는 검출이 없으므로 \(\mathrm{AP}(1) = 0\)이다. 두 임계값에 대해 평균하면 다음과 같다.
\[\mathrm{mAP} = \frac{\mathrm{AP}(0) + \mathrm{AP}(1)}{2} = \frac{1 + 0}{2} = \frac{1}{2}\](공식 풀이에는 \(\mathrm{AP}(0)\)과 \(\mathrm{AP}(1)\)의 값이 서로 뒤바뀌어 적혀 있지만 최종 답은 같다. 여기서의 “mAP”는 여러 IoU 임계값에 대한 평균이다. COCO의 mAP처럼 IoU 0.5–0.95 범위의 임계값들과 클래스들에 대해 평균하는 방식과 같은 발상이다.)
Faster R-CNN (개념 정리)
이 절에는 문제가 없다. Faster R-CNN(Faster Region-CNN)은 물체가 있을 가능성이 높은 이미지 영역을 이용한다. 입력 이미지를 여러 합성곱 층에 통과시켜 CNN 특징을 얻고, 영역 제안 네트워크(Region Proposal Network) 가 이 특징에서 후보 영역을 예측한다. 신경망은 네 가지 손실로 함께 학습한다. 영역 제안 네트워크의 물체/비물체 분류와 상자 회귀, 최종 검출기의 클래스 분류와 상자 회귀다. 함께 학습한다는 것은 보통 이 목적함수들을 (서로 다른 가중치로) 더한다는 뜻이다.
2. 2차원 전치 합성곱 계산
문제
전치 합성곱(transpose convolution)은 중간 텐서의 해상도를 높이는 연산으로, 분할처럼 출력이 이미지여야 할 때나 DCGAN처럼 저차원 잡음에서 이미지를 생성할 때 업샘플링에 쓰인다. 합성곱의 순전파와 역전파를 뒤바꾼 연산으로 볼 수 있으며, 가중치 행렬을 전치한 합성곱으로 구현할 수 있어 이런 이름이 붙었다. “디컨볼루션(deconvolution)”이라고도 하지만 다른 뜻으로도 쓰이는 말이라 권장하지 않는다.
입력과 커널이 다음과 같다.
\[X = \begin{bmatrix} 0 & 1 \\ 2 & 3 \end{bmatrix}, \qquad K = \begin{bmatrix} 0 & 1 \\ 2 & 3 \end{bmatrix}\]입력·출력 채널이 1, 패딩 0, 스트라이드 1일 때 전치 합성곱의 출력을 구하라.
풀이
전치 합성곱에서는 입력의 각 원소 \(X[i, j]\)가 커널 전체를 자신의 값만큼 스케일해 출력의 \((i, j)\) 위치부터 “찍고”, 겹치는 곳은 더한다.
출력 크기는 \((2 - 1) \cdot 1 + 2 = 3\)이므로 \(3 \times 3\)이다. 원소별로 기여를 적으면 다음과 같다.
- \(X[0,0] = 0\): 기여 없음.
- \(X[0,1] = 1\): 왼쪽 위가 \((0,1)\)인 자리에 \(\begin{bmatrix} 0 & 1 \\ 2 & 3 \end{bmatrix}\)
- \(X[1,0] = 2\): 왼쪽 위가 \((1,0)\)인 자리에 \(\begin{bmatrix} 0 & 2 \\ 4 & 6 \end{bmatrix}\)
- \(X[1,1] = 3\): 왼쪽 위가 \((1,1)\)인 자리에 \(\begin{bmatrix} 0 & 3 \\ 6 & 9 \end{bmatrix}\)
\(3 \times 3\) 격자에 모두 더한다.
\[Y = \begin{bmatrix} 0 & 0 & 1 \\ 0 & 2 & 3 \\ 0 & 0 & 0 \end{bmatrix} + \begin{bmatrix} 0 & 0 & 0 \\ 0 & 2 & 0 \\ 4 & 6 & 0 \end{bmatrix} + \begin{bmatrix} 0 & 0 & 0 \\ 0 & 0 & 3 \\ 0 & 6 & 9 \end{bmatrix} = \begin{bmatrix} 0 & 0 & 1 \\ 0 & 4 & 6 \\ 4 & 12 & 9 \end{bmatrix}\]예를 들어 가운데 \((1,1)\)은 세 기여 \(2 + 2 + 0 = 4\), \((2,1)\)은 \(6 + 6 = 12\)다. 입력 \(2 \times 2\)가 출력 \(3 \times 3\)으로 커졌다.
3. U-Net 이모저모
문제
U-Net 구조 그림(왼쪽은 해상도를 줄이는 경로, 오른쪽은 해상도를 늘리는 경로, 그 사이를 잇는 긴 가로 화살표)에 대해 답하라.
- 위쪽 화살표는 어떤 연산을 나타내는가?
- 오른쪽 방향 화살표의 역할은 무엇인가?
- 신경망의 변환 중 학습되는 파라미터를 가진 것은 무엇인가?
풀이
- 스트라이드가 있는 전치 합성곱이다. 해상도를 높이는 업샘플링 단계다.
- 긴 가로 화살표는 다운샘플링 경로의 특징을 같은 해상도의 업샘플링 경로로 보내는 건너뛰는 연결이다(공식 풀이는 이를 잔차 연결이라 부르지만, U-Net에서는 더하지 않고 채널 방향으로 이어 붙인다). 이를 통해 병목에서 잃은 세밀한 공간 정보를 되살린다. 짧은 가로 화살표는 스트라이드가 없는 일반 합성곱이다.
- 위쪽 화살표(스트라이드 전치 합성곱)와 짧은 가로 화살표(합성곱)는 학습되는 파라미터를 가진다. 다운샘플링을 담당하는 최대 풀링과 긴 건너뛰는 연결(복사 후 이어 붙이기)에는 파라미터가 없다.
DeepDream과 스타일 전이 (개념 정리)
이 절에는 문제가 없다.
DeepDream은 이미지에서 알아볼 수 있는 물체처럼 보이는 세부를 과장한다. 절차는 다음과 같다.
- 층 하나를 고른다.
- 그 층까지 순전파한다.
- 그 층에서의 기울기를 활성화 값 자체로 둔다.
- 역전파해 이미지를 갱신한다.
스타일 전이(style transfer) 는 한 이미지(또는 영상)가 다른 이미지의 외관이나 시각적 스타일을 따르도록 바꾸는 알고리즘이다. 입력 이미지 \(p\)와 스타일 이미지 \(a\)를 같은 CNN(원 논문은 VGG-19)에 넣고, 앞쪽~중간 층의 활성화를 뽑는다. 스타일 이미지의 활성화는 특징 사이의 상관관계를 담은 그람 행렬 \(S(a)\)로 요약한다. 목표는 내용 표현 \(C(x)\)가 \(C(p)\)에, 스타일 표현 \(S(x)\)가 \(S(a)\)에 가까운 출력 \(x\)를 합성하는 것이다.
\[\mathcal{L}(x) = \lVert C(x) - C(p) \rVert^2 + k \lVert S(x) - S(a) \rVert^2\]여기서 \(k\)는 내용과 스타일의 균형을 조절한다.
정리
- 위치 추정은 물체 하나의 상자를, 검출은 가변 개수의 상자를, 의미론적 분할은 픽셀별 레이블을 출력하며, 인스턴스를 구분하면 인스턴스 분할이 된다.
- 검출 성능은 IoU 임계값으로 참 양성을 판정해 구한 AP를 클래스(와 임계값)에 대해 평균한 mAP로 잰다.
- 전치 합성곱은 입력 원소마다 커널을 스케일해 찍고 겹치는 부분을 더하는 연산으로, 해상도를 높인다.
- U-Net은 전치 합성곱으로 업샘플링하고, 같은 해상도의 인코더 특징을 이어 붙여 세밀한 정보를 보존한다. 학습 파라미터는 합성곱과 전치 합성곱에 있다.
- DeepDream은 선택한 층의 활성화를 증폭하고, 스타일 전이는 내용 손실과 그람 행렬 기반 스타일 손실의 합을 이미지에 대해 최소화한다.