- 질문 출처: Science Vibe, 머신러닝 면접 질문 모음
면접 답변
배치 정규화는 층의 활성값을 특징별로 미니배치의 평균과 표준편차로 정규화한 뒤, 학습 가능한 스케일과 이동을 다시 곱하고 더하는 층입니다. 쓰는 이유는 실용적입니다. 학습이 안정되어 더 큰 학습률을 쓸 수 있고, 초기화에 덜 민감해지며, 배치마다 통계가 달라서 약한 정규화 효과도 있는 것으로 알려져 있습니다. 원 논문은 Internal Covariate Shift를 줄이기 때문이라고 설명했지만, Santurkar 등의 2018년 연구가 이에 반론을 내고 손실 지형을 매끄럽게 만들기 때문이라고 주장했으므로, 메커니즘은 아직 논쟁 중이라고 답하는 것이 정확합니다. 구현에서 중요한 점은 학습과 추론의 동작이 다르다는 것입니다. 학습 때는 현재 배치의 통계를 쓰고, 추론 때는 학습 중 누적한 이동 평균을 씁니다. 예를 들어 배치 크기가 2 정도로 작으면 통계에 잡음이 커서 성능이 나빠질 수 있으므로, 이런 경우나 시퀀스 모델에서는 Group Norm이나 Layer Norm을 고려합니다.
자세한 설명
계산
크기 \(m\)인 미니배치에서 어떤 특징의 활성값을 \(x_1, \dots, x_m\)이라 하자.
\[\mu = \frac{1}{m} \sum_{i=1}^m x_i, \qquad \sigma^2 = \frac{1}{m} \sum_{i=1}^m (x_i - \mu)^2, \qquad \hat{x}_i = \frac{x_i - \mu}{\sqrt{\sigma^2 + \epsilon}}, \qquad y_i = \gamma \hat{x}_i + \beta\]\(\epsilon\)은 0으로 나누는 것을 막는 작은 수이고, \(\gamma, \beta\)는 특징마다 학습하는 파라미터이다. 이 둘이 있어서 네트워크는 필요하면 원래의 스케일과 평균을 복원할 수 있다. 따라서 표현력을 잃지 않으면서 평균과 분산을 \(\beta, \gamma\)라는 두 파라미터로 직접 조절한다.
활성값이 \((2, 4, 6, 8)\)이면 \(\mu = 5\), \(\sigma^2 = 5\)이고, 정규화 결과는 약 \((-1.342, -0.447, 0.447, 1.342)\)이다.
CNN에서는 채널마다 통계를 낸다. 형태가 (N, C, H, W)이면 N, H, W에 대해 평균을 내므로 \(\gamma, \beta\)는 채널당 하나씩이다.
학습과 추론의 차이
추론에서는 입력이 하나일 수도 있고, 같은 입력이 배치 구성에 따라 다르게 나와서도 안 된다. 그래서 학습 중 통계의 이동 평균을 저장한다.
\[\mu_{\text{run}} \leftarrow (1 - \alpha)\mu_{\text{run}} + \alpha \mu_{\text{batch}}\]\(\sigma^2_{\text{run}}\)도 같은 방식으로 갱신한다. 추론 때는 이 값으로 정규화한다. PyTorch의 기본값은 \(\alpha = 0.1\)이다(프레임워크마다 정의가 다르다). 추론 전에 평가 모드로 바꾸는 것을 잊으면 흔한 버그가 된다. model.eval()을 빠뜨리면 추론 배치의 통계를 쓰고 이동 평균까지 덮어쓴다.
왜 효과가 있는가
| 설명 | 내용 | 상태 |
|---|---|---|
| Internal Covariate Shift 감소 | 층 입력의 분포 변화를 줄인다 | 원 논문(Ioffe & Szegedy, 2015)의 설명, 반론 있음. Q-97 참고 |
| 손실 지형의 매끄러움 | 손실과 그래디언트의 립시츠 성질을 개선한다 | Santurkar et al.(2018)의 주장 |
| 자동 학습률 조절 | 앞 가중치의 스케일에 불변이 되어 유효 학습률이 자동으로 조절된다 | Arora et al.(2019) 등의 분석 |
| 배치 잡음의 정규화 효과 | 같은 샘플도 배치에 따라 값이 달라진다 | 경험적으로 관찰되나 효과 크기는 상황에 따라 다르다 |
경험적인 이득과 그 원인에 대한 설명은 구분해야 한다. 학습이 빨라지고 큰 학습률이 가능해지는 것은 널리 재현되어 있고, 왜 그런지는 합의되지 않았다.
정규화 층 비교
입력 형태가 (N, C, H, W)일 때 어떤 축으로 통계를 내는지가 다르다.
| 방법 | 통계를 내는 축 | 배치 크기 의존 | 쓰임 |
|---|---|---|---|
| Batch Norm | N, H, W | 있음 | CNN (배치가 충분할 때) |
| Layer Norm | C, H, W (시퀀스에서는 특징 차원) | 없음 | Transformer, RNN |
| Instance Norm | H, W | 없음 | 스타일 전이 |
| Group Norm | 채널 그룹과 H, W | 없음 | 검출, 분할처럼 배치가 작은 경우 |
실무 메모
- 작은 배치: 통계의 잡음이 커진다. Group Norm이나 동기화 배치 정규화(SyncBN)를 쓴다.
- 위치: 원 논문은 활성화 함수 앞에 놓았고, 뒤에 두는 구현도 있어 정답은 없다. 합성곱의 편향은 BN의 \(\beta\)와 겹치므로 보통 끈다.
- 드롭아웃과의 조합: 드롭아웃 뒤에 BN을 두면 학습과 추론의 분산이 달라져 성능이 나빠질 수 있다는 분석이 있다(Li et al., 2019).
- 파인튜닝: 데이터가 적으면 BN 층을 고정해 이동 평균이 망가지는 것을 막는 경우가 많다.
- 분포 차이: 학습과 추론의 데이터 분포가 다르면 저장된 통계가 맞지 않아 성능이 떨어질 수 있다.
관련 개념
- 강의 노트: 위치와 고려 사항은 Deep Learning 7, PyTorch 비교 실험은 Deep Learning & PyTorch 8을 참고한다.
- Internal Covariate Shift: 원래의 동기와 논쟁을 Q-97에서 다룬다.
- CNN: 합성곱 층 뒤에 가장 흔히 놓인다. Q-92를 참고한다.
- 옵티마이저: BN이 가능하게 하는 큰 학습률은 옵티마이저 설정과 맞물린다. Q-99를 참고한다.
꼬리 질문
Q. 표준화를 해 놓고 왜 \(\gamma, \beta\)로 다시 바꾸나요? 항상 평균 0, 분산 1로 묶으면 표현력을 제한할 수 있기 때문입니다. 시그모이드의 경우 거의 선형 구간에만 머물게 됩니다. 두 파라미터 덕분에 필요한 분포를 네트워크가 직접 학습합니다.
Q. 왜 Transformer는 BN 대신 Layer Norm을 쓰나요? 길이가 다른 시퀀스에서 배치 통계를 정의하기 어렵고, 시점마다 통계가 달라지며, 배치 크기와 패딩에도 의존하게 되기 때문입니다. Layer Norm은 샘플 하나 안에서 계산하므로 이런 문제가 없습니다.
Q. BN이 있으면 드롭아웃은 필요 없나요? BN에도 약한 정규화 효과가 있어서 CNN에서는 드롭아웃을 줄이는 경우가 많지만, 대체한다고 일반화할 수는 없습니다. 검증 성능으로 판단합니다.