- 질문 출처: Science Vibe, 머신러닝 면접 질문 모음
면접 답변
CNN(합성곱 신경망)은 작은 필터를 입력의 모든 위치에 같은 가중치로 적용해 특징을 뽑는 신경망으로, 이미지처럼 격자 구조를 가진 데이터에 잘 맞습니다. 핵심 가정은 두 가지입니다. 유용한 패턴은 국소적이고(locality), 같은 패턴이 어디에 나타나도 같은 방식으로 찾을 수 있다는 것입니다(weight sharing). 그 덕분에 파라미터가 크게 줄어듭니다. 예를 들어 224×224 RGB 이미지를 은닉 유닛 1000개의 완전연결 층에 넣으면 약 1억 5천만 개가 필요하지만, 3×3 필터 64개의 합성곱 층은 1792개면 됩니다. 층을 쌓거나 풀링으로 해상도를 줄이면 수용 영역이 넓어져, 앞쪽 층에서는 에지 같은 단순한 패턴을, 뒤쪽 층에서는 물체 부분 같은 복잡한 패턴을 학습하는 경향이 있습니다. 입력을 옮기면 특징 맵도 함께 옮겨지는 등변성(equivariance)도 합성곱 연산의 특징입니다.
자세한 설명
합성곱 연산
입력 \(X\), 필터 \(K\)에 대해 딥러닝의 합성곱 층은 다음을 계산한다. 엄밀히 말하면 필터를 뒤집지 않으므로 수학의 교차 상관(cross-correlation)에 해당하지만, 관례적으로 합성곱이라 부른다.
\[Y_{i,j} = \sum_{u} \sum_{v} K_{u,v}\, X_{i+u,\, j+v} + b\]입력 채널이 \(C_{\text{in}}\), 필터 크기가 \(k \times k\), 출력 채널이 \(C_{\text{out}}\)이면 파라미터 수는 다음과 같다. 입력 해상도와 무관하다는 점이 중요하다.
\[(k \cdot k \cdot C_{\text{in}} + 1) \cdot C_{\text{out}}\]1차원의 간단한 예를 보자. 신호 \((0,0,0,1,1,1,0,0)\)에서 이웃한 값의 차이(\(x_{i+1} - x_i\))를 재는 필터를 적용하면 출력은 \((0,0,1,0,0,-1,0)\)이다. 값이 변하는 곳에서만 반응하므로 일종의 에지 검출기이다. 입력을 오른쪽으로 한 칸 옮기면 출력은 \((0,0,0,1,0,0,-1)\)로 함께 한 칸 옮겨진다. 이것이 등변성이다.
파라미터 수 비교
| 층 | 계산 | 파라미터 수 |
|---|---|---|
| 완전연결 (224×224×3 → 1000) | \(150{,}528 \times 1000 + 1000\) | 150,529,000 |
| 합성곱 (3×3, 3 → 64 채널) | \((3 \cdot 3 \cdot 3 + 1) \cdot 64\) | 1,792 |
두 층이 같은 일을 하는 것은 아니다. 합성곱 층은 전역 정보를 한 번에 보지 못하므로 그만큼 층을 쌓아 정보를 모은다.
구성 요소
- 패딩과 스트라이드: 크기 \(n\), 필터 \(k\), 패딩 \(p\), 스트라이드 \(s\)일 때 출력 크기는 \(\lfloor (n + 2p - k) / s \rfloor + 1\)이다. 자세한 동작은 임커밋 2에서 다룬다.
- 풀링(pooling): 작은 영역을 최대나 평균으로 줄인다. 파라미터 없이 해상도를 낮춰 뒤쪽 층의 계산량을 줄이고 수용 영역을 넓힌다.
- 수용 영역(receptive field): 출력 하나에 영향을 주는 입력의 범위이다. 3×3 합성곱을 스트라이드 1로 세 번 쌓으면 7×7을 본다. 이때 채널당 가중치는 27개로 7×7 필터 하나의 49개보다 적고, 비선형 함수도 더 많이 끼어든다.
- 구조: 합성곱과 비선형 함수, 풀링을 반복하고 끝에 전역 평균 풀링이나 완전연결 층을 둔다. ResNet의 스킵 연결은 아주 깊은 층의 학습을 쉽게 만든다.
흔한 오해: 이동 불변성
“CNN은 이동에 불변이다”는 부정확하다. 합성곱 자체는 등변이고, 불변성에 가까운 성질은 풀링이나 전역 집계에서 생긴다. 게다가 스트라이드와 풀링의 다운샘플링 때문에 실제 네트워크의 등변성은 완벽하지 않아서, 입력을 몇 픽셀만 옮겨도 예측이 달라지는 경우가 보고되어 있다(Azulay & Weiss, 2019; Zhang, 2019). 또한 회전이나 크기 변화에 대한 등변성은 기본 합성곱이 주지 않으므로 증강 등으로 보완한다.
관련 개념
- 자세한 강의 노트: 구조와 AlexNet, VGG, ResNet은 Deep Learning 6, 구현은 Deep Learning & PyTorch 5를 참고한다.
- 활성화와 풀링: 합성곱 사이의 비선형 함수와 집계 연산은 Q-91에서 다룬다.
- 배치 정규화: CNN의 합성곱 뒤에 흔히 놓인다. Q-98을 참고한다.
- RNN과의 비교: CNN이 공간에서 가중치를 공유한다면 RNN은 시간에서 공유한다. Q-93을 참고한다.
꼬리 질문
Q. 1×1 합성곱은 왜 쓰나요? 공간 크기는 그대로 두고 채널 수를 바꾸거나 채널 간 정보를 섞을 수 있습니다. 위치마다 작은 완전연결 층을 적용하는 것과 같고, 병목 구조에서 계산량을 줄이는 데도 씁니다.
Q. Transformer가 있는데 CNN은 아직 쓰이나요? 네, 쓰입니다. CNN의 국소성과 가중치 공유는 강한 귀납적 편향이어서 데이터가 적을 때 유리한 경우가 많고, 계산량이 중요한 곳에서도 씁니다. ConvNeXt처럼 구조를 현대화한 경우도 있습니다.
Q. 이미지가 아닌 데이터에도 쓸 수 있나요? 국소 구조가 있다면 가능합니다. 시계열이나 오디오, 문장에는 1차원 합성곱을 쓰고, 의료 영상이나 영상에는 3차원 합성곱을 씁니다.