3 Inseok Kong Schedule

Q-87. Underfitting이란 무엇인가요?

과소적합은 모델이 학습 데이터의 패턴조차 충분히 잡지 못해 학습 오차와 검증 오차가 모두 높은 상태이며, 데이터를 늘려도 잘 나아지지 않는다.

면접 답변

과소적합(underfitting)은 모델이 학습 데이터에 있는 패턴조차 충분히 잡아내지 못해, 학습 오차와 검증 오차가 모두 높은 상태입니다. 보통 모델의 표현력이 문제에 비해 부족하거나, 특징이 빈약하거나, 정규화가 지나치거나, 학습이 제대로 끝나지 않았을 때 생깁니다. 핵심 신호는 두 오차의 차이가 작은데도 둘 다 목표 성능이나 노이즈 수준보다 한참 높다는 점입니다. 예를 들어 사인 곡선 데이터에 직선을 맞추면 데이터를 아무리 늘려도 곡선을 표현할 수 없으므로 오차가 일정 값 아래로 내려가지 않습니다. 그래서 과소적합에서는 데이터를 더 모으기보다 모델이나 특징, 학습 과정을 먼저 고쳐야 합니다.

자세한 설명

정의

모델 집합 \(\mathcal{F}\)에서 고른 모델을 \(f\), 데이터 분포에서의 기대 손실을 \(R(f)\), 학습 데이터의 평균 손실을 \(\hat{R}(f)\)라 하자. 과소적합은 \(\hat{R}(f)\) 자체가 높은 상태이다. 더 유연한 모델이나 더 나은 학습으로 \(\hat{R}\)과 \(R\)을 함께 낮출 여지가 남아 있다는 뜻이다.

학습 오차가 높다는 것만으로는 부족하다. 노이즈가 큰 문제에서는 어떤 모델도 오차를 어느 수준 아래로 낮출 수 없기 때문이다. 그래서 비교 기준이 필요하다. 사람의 성능, 기존 모델의 성능, 알려진 노이즈 수준이 그 기준이 된다.

실험: 데이터를 늘려도 줄지 않는 오차

참 함수는 \(y = \sin(\pi x) + \varepsilon\)이고, \(x\)는 \([-1, 1]\)의 균등 분포, \(\varepsilon\)은 표준편차 0.25인 정규 노이즈이다. 여기에 1차 다항식을 최소제곱으로 맞췄다. 데이터 크기마다 500번 반복한 RMSE의 중앙값은 다음과 같다.

학습 데이터 수 학습 RMSE 테스트 RMSE
15 0.463 0.537
60 0.501 0.517
250 0.507 0.512
1000 0.508 0.511

두 값은 모두 약 0.508로 모인다. 이 값은 계산으로도 나온다. \([-1, 1]\)에서 \(\sin(\pi x)\)에 가장 가까운 직선은 \(\tfrac{3}{\pi}x\)이고, 이때 남는 제곱 오차는 \(\tfrac{1}{2} - \tfrac{3}{\pi^2} \approx 0.196\)이다. 여기에 노이즈 분산 \(0.25^2 = 0.0625\)를 더하면 \(\sqrt{0.2585} \approx 0.508\)이 된다.

즉 노이즈 수준 0.25보다 훨씬 높은 부분은 직선이라는 가정에서 오는 편향(bias)이고, 데이터로는 줄일 수 없다. 데이터가 적을 때 학습 RMSE가 오히려 낮은 것은 적은 점에는 직선도 조금 더 잘 맞기 때문이다.

원인

원인 예 확인 방법
표현력 부족 비선형 문제에 선형 모델, 얕은 트리 더 큰 모델에서 학습 오차가 내려가는지 본다
특징 부족 예측에 필요한 변수가 입력에 없음 특징을 추가해 본다
과한 정규화 큰 \(\lambda\), 높은 드롭아웃 비율 정규화를 끄고 학습 오차를 본다
최적화 실패 학습률이 부적절함, 학습을 일찍 멈춤, 코드 버그 손실 곡선을 보고, 작은 데이터에 과적합시켜 본다

마지막 행은 표현력의 문제가 아니다. 충분히 큰 신경망도 학습률이 잘못되었거나 버그가 있으면 학습 오차가 높게 남는다. 이를 가려내는 간단한 점검은 학습 데이터 몇 개만으로 학습해 손실이 거의 0까지 내려가는지 보는 것이다. 내려가지 않는다면 모델 크기보다 학습 과정이나 코드를 먼저 의심한다.

관련 개념

  • 과적합(overfitting): 반대편 실패로, 학습 오차는 낮은데 새 데이터에서 나빠지는 상태이다. Q-13에서 다룬다.
  • 두 실패의 비교와 해결: 무엇이 문제이고 어떻게 고치는지는 Q-88과 Q-89에서 이어 간다.
  • 편향-분산 트레이드오프: 과소적합은 오차 분해에서 편향이 지배하는 경우에 해당한다. Q-28을 참고한다.
  • 오차 분석: 학습 오차와 기준 성능의 차이로 다음 행동을 고르는 절차이다. Deep Learning 3에서 다룬다.

꼬리 질문

Q. 학습 오차와 검증 오차가 비슷하면 좋은 모델 아닌가요? 그것만으로는 알 수 없습니다. 차이가 작다는 것은 과적합이 적다는 뜻일 뿐이고, 둘 다 높다면 과소적합입니다. 기준 성능과 함께 봐야 합니다.

Q. 검증 오차가 학습 오차보다 낮으면 어떻게 해석하나요? 드롭아웃처럼 학습 때만 작동하는 정규화, 학습 손실을 에폭 도중 평균 내는 방식, 작은 검증 집합의 우연, 분할 방식의 차이가 흔한 원인입니다. 그 자체가 과소적합의 증거는 아니지만, 측정 방법부터 확인해 볼 만합니다.

Q. 트리 앙상블에서 과소적합은 어떻게 나타나나요? 트리 깊이가 너무 얕거나 부스팅 라운드가 너무 적거나 학습률이 너무 작을 때 나타납니다. 라운드 수를 늘리면서 학습 오차가 내려가는지 확인합니다.