3 Inseok Kong Schedule

Q-66. Unexplained variation이란 무엇인가요?

Unexplained variation은 관측값과 예측값 차이의 제곱합 SSE로, 총 변동 중 모델이 설명하지 못하고 잔차로 남은 부분이다.

면접 답변

Unexplained variation은 총 변동 중 모델이 설명하지 못한 부분으로, 관측값과 예측값의 차이인 잔차를 제곱해 더한 SSE입니다. OLS가 최소화하는 바로 그 값이기도 합니다. 절편이 있는 OLS에서는 총 변동 SST에서 설명된 변동 SSR을 뺀 값과 같습니다. 예를 들어 SST가 6이고 SSE가 2.4이면 변동의 40%가 설명되지 않고 남은 것입니다. 이 값은 순수한 노이즈만 뜻하지 않습니다. 빠진 변수나 잘못된 함수 형태 때문에 남은 오차도 함께 들어 있습니다. 그래서 값의 크기만 보지 않고 잔차에 패턴이 있는지 확인합니다. 또 학습 SSE를 0으로 만드는 것은 쉬운 일이므로, 이 값이 작다고 좋은 모델이라고 볼 수는 없습니다.

자세한 설명

정의

설명되지 않은 변동(unexplained variation, error sum of squares)은 잔차 \(e_i = y_i - \hat{y}_i\)의 제곱합이다.

\[\text{SSE} = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2\]

OLS는 계수에 대해 이 값을 최소화한다. 입력이 \(p\)개이고 절편이 있으면 자유도는 \(n - p - 1\)이며, 오차 분산 \(\sigma^2\)의 불편 추정량은 다음과 같다.

\[\hat{\sigma}^2 = \frac{\text{SSE}}{n - p - 1}\]

Q-64의 예제에서는 \(\text{SSE} = 2.4\)이고 \(\hat{\sigma}^2 = 2.4 / 3 = 0.8\)이다. 잔차 표준오차는 \(\sqrt{0.8} \approx 0.894\)로, 예측이 \(y\)의 단위로 대략 그 정도 빗나간다는 뜻이다.

잔차에 무엇이 들어 있는가

원인 설명 해결 가능성
측정 노이즈, 본질적 무작위성 어떤 모델로도 예측 불가능한 부분 입력으로는 불가, 측정 개선은 가능
빠진 변수 \(y\)에 영향을 주지만 입력에 없음 변수 추가
잘못된 함수 형태 비선형 관계에 직선을 맞춤 변환, 비선형 모델
추정 오차 표본이 적어 계수가 부정확함 데이터 추가

함수 형태의 효과는 극단적인 예로 볼 수 있다. \(x = (-2, -1, 0, 1, 2)\), \(y = x^2\)이면 \(y\)는 \(x\)로 완벽히 결정되는데도, 직선의 기울기가 0이어서 \(\text{SSR} = 0\)이고 \(\text{SSE} = \text{SST} = 14\)이다. 노이즈가 전혀 없지만 전부 설명되지 않은 변동으로 나타나는 것이다.

작은 학습 SSE의 함정

입력 값이 서로 다른 점이 \(n\)개 있으면 \(n - 1\)차 다항식은 모든 점을 지날 수 있다. 예제의 5개 점에 4차 다항식을 맞추면 SSE는 수치 오차 수준(\(\approx 5 \times 10^{-28}\))까지 내려간다. 그렇다고 노이즈가 사라진 것은 아니며, 노이즈까지 외운 것이다. 일반화 성능은 학습에 쓰지 않은 데이터의 SSE로 판단해야 한다.

잔차 진단

  • 잔차 대 예측값 그림: 곡선 패턴은 함수 형태의 문제이고, 깔때기 모양은 이분산성을 뜻한다.
  • 순서나 시간에 따른 잔차: 패턴이 있으면 자기상관을 의심한다.
  • Q-Q plot: 신뢰구간과 검정에 쓰는 정규성 가정을 점검한다.
  • 큰 잔차와 영향점: 제곱 때문에 이상치 하나가 SSE를 지배할 수 있다. 이상치에 민감하면 Huber loss나 절대 오차를 고려한다.

관련 개념

  • Total variation (SST): 분해 전의 전체 변동이다. Q-64에서 다룬다.
  • Explained variation (SSR): SSE와 합쳐 SST가 되는 나머지 부분이다. Q-65에서 다룬다.
  • 결정계수: \(1 - \text{SSE}/\text{SST}\)로 정의한다. Q-67에서 다룬다.
  • 편향-분산 분해: 기대 테스트 오차를 편향, 분산, 줄일 수 없는 노이즈로 나눈다. Q-28을 참고한다.
  • 과적합: 학습 SSE만 줄이다 일반화 성능을 잃는 현상이다. Q-13에서 다룬다.

꼬리 질문

Q. SSE와 MSE는 어떻게 다른가요? MSE는 SSE를 표본 수 \(n\)으로 나눈 값입니다. 표본 수가 다른 데이터끼리 비교할 수 있고, 제곱근을 취하면 RMSE로 \(y\)와 단위가 같아집니다. 분산 추정에는 자유도로 나눈 값을 씁니다.

Q. 왜 잔차를 제곱하나요? 양수와 음수가 상쇄되지 않고, 미분 가능해 닫힌 해가 있으며, 오차가 Gaussian이면 SSE 최소화가 최대 가능도 추정과 같아지기 때문입니다. 대신 이상치에 민감합니다.

Q. 줄일 수 없는 오차의 크기는 어떻게 추정하나요? 같은 입력에서 반복 측정한 값이 있으면 그 흩어짐으로 직접 추정할 수 있습니다. 없으면 여러 모델의 검증 오차로 대략의 하한을 가늠할 뿐이고, 입력에 없는 정보까지 고려한 값은 알 수 없습니다.