3 Inseok Kong Schedule

Deep Learning Discussion 5: Review of Vision Problems

주요 컴퓨터 비전 문제를 복습하고, mAP 계산, 전치 합성곱의 손계산, U-Net 구조 문제를 풀며 DeepDream과 스타일 전이를 간단히 정리한다.

이 디스커션은 비전 응용과 신경망 시각화 입문(스타일 전이, DeepDream)을 다룬다. 먼저 네 가지 주요 컴퓨터 비전 문제를 복습한다.

  • 이미지 분류(image classification): 이미지가 주어지면 각 클래스에 속할 확률을 출력한다. 지금까지 수업의 주된 대상이었다.
  • 물체 위치 추정(object localization): 이미지에 물체가 하나뿐이고 관심 클래스도 미리 알 때, 그 물체의 경계 상자를 구한다. 상자 회귀(L2 손실)와 분류(교차 엔트로피 손실)를 두 손실의 합으로 함께 학습하는 경우가 많다.
  • 물체 검출(object detection): 여러 물체와 각각의 경계 상자를 찾는다. 같은 클래스의 인스턴스가 여러 개 있을 수 있으므로(예: 여러 마리의 개) 개수가 정해지지 않은 상자들을 예측해야 한다. 성능은 mAP(mean average precision)로 측정하며, Faster R-CNN 같은 방법으로 푼다.
  • 의미론적 분할(semantic segmentation): 모든 픽셀에 레이블을 붙인다. 픽셀마다 CNN 분류기를 돌리는 단순한 방법도 있지만 U-Net 같은 더 나은 해법이 있다. 같은 클래스의 인스턴스를 구분하지 않는다는 점에서 인스턴스 분할(instance segmentation)과 다르다.

1. mAP 계산

문제

물체 검출에서 흔한 지표인 mAP는 클래스마다 평균 정밀도(average precision, AP)를 구한 뒤 클래스에 대해 평균한다. 검출이 정답 상자와 IoU가 어떤 임계값보다 크면 참 양성(true positive)으로 보며, AP는 각 클래스의 정밀도-재현율(precision/recall) 곡선 아래 넓이다. 검출기를 돌려 다음 결과를 얻었다.

예 예측/정답 IoU
A 0.29
B 0.11
C 0.701
D 0.001
E 0.92
F 0.45

모든 후보가 실제로 물체에 대응한다고 하고 IoU 임계값을 0.5로 둘 때 AP는 얼마인가? 임계값 0과 1을 쓸 때의 mAP는 얼마인가? (mAP는 강의에서 명시적으로 다루지 않았다.)

풀이

이 문제의 풀이는 AP를 “임계값에서 참 양성으로 판정되는 검출의 비율”로 단순화해 계산한다.

임계값 0.5. IoU가 0.5를 넘는 것은 C(0.701)와 E(0.92) 두 개뿐이다. 나머지 네 개(A, B, D, F)는 거짓 양성이다. 따라서 다음과 같다.

\[\mathrm{AP}(0.5) = \frac{2}{2 + 4} = \frac{1}{3}\]

임계값 0과 1. 임계값이 0이면 모든 검출의 IoU가 0보다 크므로 여섯 개 모두 참 양성이고 \(\mathrm{AP}(0) = 1\)이다. 임계값이 1이면 IoU가 1을 넘는 검출이 없으므로 \(\mathrm{AP}(1) = 0\)이다. 두 임계값에 대해 평균하면 다음과 같다.

\[\mathrm{mAP} = \frac{\mathrm{AP}(0) + \mathrm{AP}(1)}{2} = \frac{1 + 0}{2} = \frac{1}{2}\]

(공식 풀이에는 \(\mathrm{AP}(0)\)과 \(\mathrm{AP}(1)\)의 값이 서로 뒤바뀌어 적혀 있지만 최종 답은 같다. 여기서의 “mAP”는 여러 IoU 임계값에 대한 평균이다. COCO의 mAP처럼 IoU 0.5–0.95 범위의 임계값들과 클래스들에 대해 평균하는 방식과 같은 발상이다.)

Faster R-CNN (개념 정리)

이 절에는 문제가 없다. Faster R-CNN(Faster Region-CNN)은 물체가 있을 가능성이 높은 이미지 영역을 이용한다. 입력 이미지를 여러 합성곱 층에 통과시켜 CNN 특징을 얻고, 영역 제안 네트워크(Region Proposal Network) 가 이 특징에서 후보 영역을 예측한다. 신경망은 네 가지 손실로 함께 학습한다. 영역 제안 네트워크의 물체/비물체 분류와 상자 회귀, 최종 검출기의 클래스 분류와 상자 회귀다. 함께 학습한다는 것은 보통 이 목적함수들을 (서로 다른 가중치로) 더한다는 뜻이다.

2. 2차원 전치 합성곱 계산

문제

전치 합성곱(transpose convolution)은 중간 텐서의 해상도를 높이는 연산으로, 분할처럼 출력이 이미지여야 할 때나 DCGAN처럼 저차원 잡음에서 이미지를 생성할 때 업샘플링에 쓰인다. 합성곱의 순전파와 역전파를 뒤바꾼 연산으로 볼 수 있으며, 가중치 행렬을 전치한 합성곱으로 구현할 수 있어 이런 이름이 붙었다. “디컨볼루션(deconvolution)”이라고도 하지만 다른 뜻으로도 쓰이는 말이라 권장하지 않는다.

입력과 커널이 다음과 같다.

\[X = \begin{bmatrix} 0 & 1 \\ 2 & 3 \end{bmatrix}, \qquad K = \begin{bmatrix} 0 & 1 \\ 2 & 3 \end{bmatrix}\]

입력·출력 채널이 1, 패딩 0, 스트라이드 1일 때 전치 합성곱의 출력을 구하라.

풀이

전치 합성곱에서는 입력의 각 원소 \(X[i, j]\)가 커널 전체를 자신의 값만큼 스케일해 출력의 \((i, j)\) 위치부터 “찍고”, 겹치는 곳은 더한다.

출력 크기는 \((2 - 1) \cdot 1 + 2 = 3\)이므로 \(3 \times 3\)이다. 원소별로 기여를 적으면 다음과 같다.

  • \(X[0,0] = 0\): 기여 없음.
  • \(X[0,1] = 1\): 왼쪽 위가 \((0,1)\)인 자리에 \(\begin{bmatrix} 0 & 1 \\ 2 & 3 \end{bmatrix}\)
  • \(X[1,0] = 2\): 왼쪽 위가 \((1,0)\)인 자리에 \(\begin{bmatrix} 0 & 2 \\ 4 & 6 \end{bmatrix}\)
  • \(X[1,1] = 3\): 왼쪽 위가 \((1,1)\)인 자리에 \(\begin{bmatrix} 0 & 3 \\ 6 & 9 \end{bmatrix}\)

\(3 \times 3\) 격자에 모두 더한다.

\[Y = \begin{bmatrix} 0 & 0 & 1 \\ 0 & 2 & 3 \\ 0 & 0 & 0 \end{bmatrix} + \begin{bmatrix} 0 & 0 & 0 \\ 0 & 2 & 0 \\ 4 & 6 & 0 \end{bmatrix} + \begin{bmatrix} 0 & 0 & 0 \\ 0 & 0 & 3 \\ 0 & 6 & 9 \end{bmatrix} = \begin{bmatrix} 0 & 0 & 1 \\ 0 & 4 & 6 \\ 4 & 12 & 9 \end{bmatrix}\]

예를 들어 가운데 \((1,1)\)은 세 기여 \(2 + 2 + 0 = 4\), \((2,1)\)은 \(6 + 6 = 12\)다. 입력 \(2 \times 2\)가 출력 \(3 \times 3\)으로 커졌다.

3. U-Net 이모저모

문제

U-Net 구조 그림(왼쪽은 해상도를 줄이는 경로, 오른쪽은 해상도를 늘리는 경로, 그 사이를 잇는 긴 가로 화살표)에 대해 답하라.

  1. 위쪽 화살표는 어떤 연산을 나타내는가?
  2. 오른쪽 방향 화살표의 역할은 무엇인가?
  3. 신경망의 변환 중 학습되는 파라미터를 가진 것은 무엇인가?

풀이

  1. 스트라이드가 있는 전치 합성곱이다. 해상도를 높이는 업샘플링 단계다.
  2. 긴 가로 화살표는 다운샘플링 경로의 특징을 같은 해상도의 업샘플링 경로로 보내는 건너뛰는 연결이다(공식 풀이는 이를 잔차 연결이라 부르지만, U-Net에서는 더하지 않고 채널 방향으로 이어 붙인다). 이를 통해 병목에서 잃은 세밀한 공간 정보를 되살린다. 짧은 가로 화살표는 스트라이드가 없는 일반 합성곱이다.
  3. 위쪽 화살표(스트라이드 전치 합성곱)와 짧은 가로 화살표(합성곱)는 학습되는 파라미터를 가진다. 다운샘플링을 담당하는 최대 풀링과 긴 건너뛰는 연결(복사 후 이어 붙이기)에는 파라미터가 없다.

DeepDream과 스타일 전이 (개념 정리)

이 절에는 문제가 없다.

DeepDream은 이미지에서 알아볼 수 있는 물체처럼 보이는 세부를 과장한다. 절차는 다음과 같다.

  1. 층 하나를 고른다.
  2. 그 층까지 순전파한다.
  3. 그 층에서의 기울기를 활성화 값 자체로 둔다.
  4. 역전파해 이미지를 갱신한다.

스타일 전이(style transfer) 는 한 이미지(또는 영상)가 다른 이미지의 외관이나 시각적 스타일을 따르도록 바꾸는 알고리즘이다. 입력 이미지 \(p\)와 스타일 이미지 \(a\)를 같은 CNN(원 논문은 VGG-19)에 넣고, 앞쪽~중간 층의 활성화를 뽑는다. 스타일 이미지의 활성화는 특징 사이의 상관관계를 담은 그람 행렬 \(S(a)\)로 요약한다. 목표는 내용 표현 \(C(x)\)가 \(C(p)\)에, 스타일 표현 \(S(x)\)가 \(S(a)\)에 가까운 출력 \(x\)를 합성하는 것이다.

\[\mathcal{L}(x) = \lVert C(x) - C(p) \rVert^2 + k \lVert S(x) - S(a) \rVert^2\]

여기서 \(k\)는 내용과 스타일의 균형을 조절한다.

정리

  • 위치 추정은 물체 하나의 상자를, 검출은 가변 개수의 상자를, 의미론적 분할은 픽셀별 레이블을 출력하며, 인스턴스를 구분하면 인스턴스 분할이 된다.
  • 검출 성능은 IoU 임계값으로 참 양성을 판정해 구한 AP를 클래스(와 임계값)에 대해 평균한 mAP로 잰다.
  • 전치 합성곱은 입력 원소마다 커널을 스케일해 찍고 겹치는 부분을 더하는 연산으로, 해상도를 높인다.
  • U-Net은 전치 합성곱으로 업샘플링하고, 같은 해상도의 인코더 특징을 이어 붙여 세밀한 정보를 보존한다. 학습 파라미터는 합성곱과 전치 합성곱에 있다.
  • DeepDream은 선택한 층의 활성화를 증폭하고, 스타일 전이는 내용 손실과 그람 행렬 기반 스타일 손실의 합을 이미지에 대해 최소화한다.