3 Inseok Kong Schedule

Q-97. Internal Covariate Shift란 무엇인가요?

Internal Covariate Shift는 학습 중 앞 층의 파라미터가 바뀌면서 뒤 층이 받는 입력의 분포도 계속 달라지는 현상이며, 배치 정규화의 원래 동기였지만 이것이 효과의 핵심이라는 설명은 논쟁 중이다.

면접 답변

Internal Covariate Shift는 학습 중에 앞 층의 파라미터가 바뀌면서, 뒤 층이 받는 입력의 분포가 계속 달라지는 현상입니다. 뒤 층은 움직이는 입력에 끊임없이 다시 적응해야 하므로 학습이 느려진다는 것이 Ioffe와 Szegedy가 2015년에 배치 정규화를 제안하며 든 설명입니다. 예를 들어 어떤 층의 출력 평균이 0이었다가 앞쪽 업데이트로 1로 옮겨 가면, 다음 층에는 입력 분포가 바뀐 것처럼 보입니다. 다만 이 설명은 지금 논쟁 중입니다. Santurkar 등의 2018년 연구는 배치 정규화 뒤에 일부러 분포를 흔드는 잡음을 넣어도 성능 이득이 거의 유지되고, 배치 정규화가 그들의 측정 방식으로 이 현상을 꼭 줄이지도 않는다고 보고했습니다. 그래서 면접에서는 이것이 배치 정규화의 원래 동기였다고 답하되, 효과의 입증된 원인이라고 단정하지 않는 것이 정확합니다.

자세한 설명

공변량 이동에서 온 이름

공변량 이동(covariate shift)은 입력 분포 \(p(\mathbf{x})\)는 변하지만 조건부 관계 \(p(y \mid \mathbf{x})\)는 유지되는 상황을 말한다. 학습 데이터와 배포 환경의 분포가 다를 때 쓰는 개념이다(Shimodaira, 2000).

Ioffe와 Szegedy(2015)는 이를 네트워크 내부로 가져왔다. 깊은 네트워크를 층의 합성 \(F_2(F_1(\mathbf{x}; \theta_1); \theta_2)\)로 보면, \(F_2\)에게 입력은 \(\mathbf{u} = F_1(\mathbf{x}; \theta_1)\)이다. 그들은 Internal Covariate Shift를 학습 중 파라미터 변화 때문에 네트워크 활성값의 분포가 달라지는 현상으로 정의했다. 원래의 공변량 이동과 달리, 데이터 자체는 그대로이고 네트워크가 만든 표현의 분포만 바뀐다는 점이 다르다.

간단한 예로 \(x \sim \mathcal{N}(0, 1)\)이고 앞 층이 \(u = wx + b\)라 하자. \((w, b) = (1, 0)\)이면 \(u\)의 평균은 0, 표준편차는 1이다. 업데이트로 \((w, b) = (1.5, 1)\)이 되면 평균은 1, 표준편차는 1.5가 된다. 다음 층의 활성화 함수가 시그모이드라면 포화 구간에 더 많이 들어갈 수 있다.

논쟁: Santurkar et al.(2018)

“How Does Batch Normalization Help Optimization?”은 원래 설명을 실험으로 검증했다.

질문 보고된 결과
배치 정규화 층 뒤에 시점마다 달라지는 평균과 분산의 잡음을 일부러 넣으면 이득이 사라지는가? 활성값 분포가 표준 네트워크보다 더 불안정해 보이는데도 성능 이득은 거의 유지되었다
앞 층 업데이트 전후의 그래디언트 변화로 측정한 내부 이동을 배치 정규화가 줄이는가? 줄어들지 않는 경우가 있었고, 오히려 늘기도 했다
그렇다면 무엇을 바꾸는가? 손실과 그래디언트의 립시츠 성질을 개선해, 최적화 지형을 더 매끄럽게 만든다고 주장했다

주의할 점이 있다. 이 연구가 “분포 변화는 전혀 문제가 아니다”라고 증명한 것은 아니다. 분포 안정화가 핵심 메커니즘이라는 설명에 의문을 제기하고 다른 설명을 제시한 것이다. 매끄러움 설명이 최종 답이라고 합의된 것도 아니다. 예를 들어 스케일 불변성과 유효 학습률의 자동 조절로 설명하는 분석(Arora et al., 2019)도 있다.

정리하면

항목 상태
학습 중 층 입력의 분포가 변한다 관찰되는 사실
배치 정규화가 학습을 빠르고 안정적으로 만든다 널리 재현되는 경험적 사실
ICS 감소가 그 주된 이유이다 원 논문의 가설, 반론이 있음

원 논문이 쓴 용어는 Covariate이며, 공분산을 뜻하는 Covariance와 다르다. 일부 자료에 나오는 “Internal Covariance Shift”는 오타이다.

관련 개념

  • 배치 정규화: 이 개념을 동기로 제안된 층이다. 동작 방식과 실무는 Q-98에서 다룬다.
  • 분포 이동(distribution shift): 학습과 배포 환경이 다를 때의 일반 문제이다. Deep Learning 10에서 자기회귀 모델의 분포 이동을 다룬다.
  • 공분산: 이름이 비슷하지만 다른 개념이다. Q-35를 참고한다.
  • 활성화 함수의 포화: 입력 분포가 옮겨 갈 때 포화형 함수에서 기울기가 작아지는 이유이다. Q-91을 참고한다.

꼬리 질문

Q. 입력을 표준화했는데도 이 문제가 생기나요? 입력 표준화는 첫 층의 입력만 맞춥니다. 중간 층의 입력은 앞 층의 파라미터에 따라 계속 달라지므로, 배치 정규화는 그 표준화를 층마다 하려는 아이디어에서 출발했습니다.

Q. 작은 학습률을 쓰면 해결되지 않나요? 분포 변화 자체는 줄어들지만 학습도 그만큼 느려집니다. 배치 정규화의 실용적인 이득 중 하나는 오히려 더 큰 학습률을 쓸 수 있다는 점입니다.

Q. Santurkar 연구로 배치 정규화는 쓰지 말아야 한다는 뜻인가요? 아닙니다. 효과는 그대로이고, 논쟁의 대상은 왜 효과가 있느냐는 설명입니다.