3 Inseok Kong Schedule

Q-96. Local optimum으로 빠지는데 성능이 좋은 이유는 무엇인가요?

완전히 해명되지는 않았지만, 고차원에서는 임계점 다수가 안장점인 경향이 있고 많은 극소점의 손실이 비슷하다는 근거가 있으며, 평평한 극소점과 SGD 잡음은 일반화에 대한 가설이다.

면접 답변

완전히 해명된 문제는 아니므로, 알려진 것과 가설을 구분해서 답하겠습니다. 우선 나쁜 극소점이 항상 없는 것은 아니지만, 고차원에서는 모든 방향으로 올라가는 조건이 까다로워 임계점 중 안장점의 비중이 커지는 경향이 있고, 안장점은 잡음이 있는 경사법으로 벗어날 수 있습니다. 또한 큰 네트워크에서는 서로 다른 초기값에서 찾은 해들의 손실이 비슷한 경우가 많아, 어느 극소점에 도달하느냐가 크게 중요하지 않은 경우가 많다고 경험적으로 관찰됩니다. 일부 단순화된 모델에서는 이를 뒷받침하는 이론적 결과도 있습니다. 예를 들어 무작위 대칭 행렬 실험에서 모든 고윳값이 양수일 확률은 2차원에서 약 15%, 5차원에서 약 0.015%로 빠르게 줄어듭니다. 다만 실제 신경망의 헤시안을 그대로 나타내는 모델은 아닙니다. 왜 일반화까지 잘 되는지에 대해서는 평평한 극소점과 SGD 잡음의 암묵적 정규화가 대표적인 가설이지만, 아직 확립된 설명은 아니고 반론도 있습니다.

자세한 설명

질문의 전제 다시 보기

질문에는 두 가지 전제가 있는데 둘 다 조심해야 한다.

첫째, “local optimum에 빠진다”는 것이 검증된 사실은 아니다. 큰 신경망 학습은 흔히 그래디언트 노름이 작아지지 않은 채 멈추며, 실제로 어떤 임계점에 도달했다고 단정하기 어렵다. 조기 종료를 쓰면 애초에 극소점에 가려 하지도 않는다.

둘째, “성능”에는 학습 손실을 잘 낮추는 최적화 문제와 새 데이터에 잘 맞는 일반화 문제가 섞여 있다. 두 문제는 근거의 수준이 다르다.

임계점과 안장점

\(\nabla L(\mathbf{w}) = 0\)인 점을 임계점(critical point)이라 한다. 헤시안 \(H\)의 고윳값이 모두 양수이면 극소점이고, 양수와 음수가 섞이면 안장점이다. 안장점에서는 음의 고윳값 방향으로 내려갈 수 있다.

고차원 직관은 다음과 같다. 헤시안을 무작위 대칭 행렬로 근사해 고윳값이 모두 양수일 확률을 재 보면 차원과 함께 급격히 줄어든다. 원소를 정규 분포에서 뽑아 만든 \((A + A^\top)/2\)를 차원마다 200만 번 샘플링한 결과이다.

차원 모든 고윳값이 양수일 비율 해당 횟수
1 0.4998 999,626
2 0.1462 292,441
3 0.0249 49,729
5 0.000153 306
7 0.0000005 1
10 관측되지 않음 0

이것은 비유이다. 실제 신경망의 헤시안은 독립인 원소로 된 무작위 행렬이 아니며, 관측상 고윳값 대부분이 0 근처에 몰리는 등 구조가 크게 다르다. 또한 손실이 낮은 곳에서는 양의 고윳값이 많아질 것으로 예상된다.

무엇이 어느 정도로 알려져 있는가

주장 수준 근거와 단서
고차원 임계점은 안장점이 다수인 경향 근거 있음, 일반 정리는 아님 Dauphin et al.(2014)이 통계물리 결과와 작은 신경망의 실험으로 제시했다
경사하강법은 안장점에 잘 갇히지 않음 조건부 정리 무작위 초기화한 GD는 조건을 만족하는 안장점으로 거의 수렴하지 않고(Lee et al., 2016), 잡음을 더하면 효율적으로 벗어난다(Jin et al., 2017). 매끄러움과 strict saddle 가정이 필요하며, 빠져나오는 데 오래 걸릴 수는 있다
많은 극소점의 손실이 비슷함 경험적 근거, 단순화 모델의 이론 Choromanska et al.(2015)은 강한 가정의 spin-glass 모델로 설명했다. 그 가정이 실제 신경망에 그대로 성립하는 것은 아니다
나쁜 극소점이 없음 일반적으로 거짓 선형 심층망에서는 모든 극소점이 전역 최소라는 결과가 있지만(Kawaguchi, 2016), 비선형인 2층 ReLU 신경망에는 나쁜 극소점이 존재한다(Safran & Shamir, 2018)
과매개변수화가 최적화를 쉽게 함 이론과 실험의 지지, 조건부 폭이 매우 넓은 신경망의 경사하강법은 학습 손실 0에 수렴한다는 결과가 있다(Du et al., 2019). 실제 폭과 학습 방식에서는 조건이 다를 수 있다
평평한 극소점이 일반화에 좋음 가설, 논쟁 중 Hochreiter & Schmidhuber(1997), Keskar et al.(2017)의 지지가 있지만, Dinh et al.(2017)은 재매개변수화로 같은 함수를 임의로 날카롭게 만들 수 있음을 보였다
SGD 잡음이 암묵적으로 정규화함 가설 작은 배치의 이점을 설명하려는 시도이지만, 학습률과 일정을 조정하면 차이가 줄어든다는 보고도 있다

학습 손실이 낮다고 일반화되는 것은 아니다

Zhang et al.(2017)은 라벨을 무작위로 바꿔도 신경망이 학습 데이터를 거의 완벽히 맞출 수 있음을 보였다. 같은 구조와 같은 옵티마이저로 학습 오차가 0에 가까운데 일반화는 전혀 되지 않는다. 즉 손실 지형의 성질만으로는 일반화를 설명할 수 없다. 데이터의 구조, 네트워크 구조의 귀납적 편향, 초기화, 옵티마이저가 함께 작용하고, 이들이 어떻게 합쳐지는지는 아직 활발히 연구되고 있다.

관련 개념

  • 볼록 함수: 볼록이면 모든 극소점이 전역 최소이지만 신경망의 손실은 일반적으로 볼록이 아니다. Q-21을 참고한다.
  • SGD: 잡음의 크기와 배치 크기의 관계는 Q-95에서 다룬다.
  • 뉴턴법: 순수 뉴턴법은 안장점에 끌리므로 비볼록 문제에서 주의가 필요하다. Q-94를 참고한다.
  • 손실 지형: 안장점이 왜 흔한지에 대한 강의 내용은 Deep Learning 4에 있다.
  • 이중 하강: 과매개변수화와 일반화의 관계에 대한 또 다른 관찰이다. Q-28을 참고한다.

꼬리 질문

Q. 그렇다면 초기값은 중요하지 않나요? 중요합니다. 초기화가 잘못되면 학습이 시작되지 않거나 기울기가 소실됩니다. 또한 손실이 비슷한 해들도 예측은 달라서, 시드를 다르게 해 앙상블하면 성능이 오르는 경우가 많습니다.

Q. 안장점에서 벗어날 수 있다면 왜 학습이 느려지나요? 그래디언트가 작은 평탄한 구간을 지날 때는 이동이 매우 느리기 때문입니다. 이론적으로 벗어날 수 있다는 것과 빨리 벗어난다는 것은 다른 문제입니다. 모멘텀과 적응형 학습률이 실무에서 도움이 되기도 합니다.

Q. 스킵 연결은 손실 지형에 영향을 주나요? Li et al.(2018)의 시각화에서는 스킵 연결이 있는 경우 지형이 더 매끄럽게 보였습니다. 다만 고차원을 2차원 단면으로 본 것이므로 해석에는 한계가 있습니다.