- 질문 출처: Science Vibe, 머신러닝 면접 질문 모음
면접 답변
Unexplained variation은 총 변동 중 모델이 설명하지 못한 부분으로, 관측값과 예측값의 차이인 잔차를 제곱해 더한 SSE입니다. OLS가 최소화하는 바로 그 값이기도 합니다. 절편이 있는 OLS에서는 총 변동 SST에서 설명된 변동 SSR을 뺀 값과 같습니다. 예를 들어 SST가 6이고 SSE가 2.4이면 변동의 40%가 설명되지 않고 남은 것입니다. 이 값은 순수한 노이즈만 뜻하지 않습니다. 빠진 변수나 잘못된 함수 형태 때문에 남은 오차도 함께 들어 있습니다. 그래서 값의 크기만 보지 않고 잔차에 패턴이 있는지 확인합니다. 또 학습 SSE를 0으로 만드는 것은 쉬운 일이므로, 이 값이 작다고 좋은 모델이라고 볼 수는 없습니다.
자세한 설명
정의
설명되지 않은 변동(unexplained variation, error sum of squares)은 잔차 \(e_i = y_i - \hat{y}_i\)의 제곱합이다.
\[\text{SSE} = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2\]OLS는 계수에 대해 이 값을 최소화한다. 입력이 \(p\)개이고 절편이 있으면 자유도는 \(n - p - 1\)이며, 오차 분산 \(\sigma^2\)의 불편 추정량은 다음과 같다.
\[\hat{\sigma}^2 = \frac{\text{SSE}}{n - p - 1}\]Q-64의 예제에서는 \(\text{SSE} = 2.4\)이고 \(\hat{\sigma}^2 = 2.4 / 3 = 0.8\)이다. 잔차 표준오차는 \(\sqrt{0.8} \approx 0.894\)로, 예측이 \(y\)의 단위로 대략 그 정도 빗나간다는 뜻이다.
잔차에 무엇이 들어 있는가
| 원인 | 설명 | 해결 가능성 |
|---|---|---|
| 측정 노이즈, 본질적 무작위성 | 어떤 모델로도 예측 불가능한 부분 | 입력으로는 불가, 측정 개선은 가능 |
| 빠진 변수 | \(y\)에 영향을 주지만 입력에 없음 | 변수 추가 |
| 잘못된 함수 형태 | 비선형 관계에 직선을 맞춤 | 변환, 비선형 모델 |
| 추정 오차 | 표본이 적어 계수가 부정확함 | 데이터 추가 |
함수 형태의 효과는 극단적인 예로 볼 수 있다. \(x = (-2, -1, 0, 1, 2)\), \(y = x^2\)이면 \(y\)는 \(x\)로 완벽히 결정되는데도, 직선의 기울기가 0이어서 \(\text{SSR} = 0\)이고 \(\text{SSE} = \text{SST} = 14\)이다. 노이즈가 전혀 없지만 전부 설명되지 않은 변동으로 나타나는 것이다.
작은 학습 SSE의 함정
입력 값이 서로 다른 점이 \(n\)개 있으면 \(n - 1\)차 다항식은 모든 점을 지날 수 있다. 예제의 5개 점에 4차 다항식을 맞추면 SSE는 수치 오차 수준(\(\approx 5 \times 10^{-28}\))까지 내려간다. 그렇다고 노이즈가 사라진 것은 아니며, 노이즈까지 외운 것이다. 일반화 성능은 학습에 쓰지 않은 데이터의 SSE로 판단해야 한다.
잔차 진단
- 잔차 대 예측값 그림: 곡선 패턴은 함수 형태의 문제이고, 깔때기 모양은 이분산성을 뜻한다.
- 순서나 시간에 따른 잔차: 패턴이 있으면 자기상관을 의심한다.
- Q-Q plot: 신뢰구간과 검정에 쓰는 정규성 가정을 점검한다.
- 큰 잔차와 영향점: 제곱 때문에 이상치 하나가 SSE를 지배할 수 있다. 이상치에 민감하면 Huber loss나 절대 오차를 고려한다.
관련 개념
- Total variation (SST): 분해 전의 전체 변동이다. Q-64에서 다룬다.
- Explained variation (SSR): SSE와 합쳐 SST가 되는 나머지 부분이다. Q-65에서 다룬다.
- 결정계수: \(1 - \text{SSE}/\text{SST}\)로 정의한다. Q-67에서 다룬다.
- 편향-분산 분해: 기대 테스트 오차를 편향, 분산, 줄일 수 없는 노이즈로 나눈다. Q-28을 참고한다.
- 과적합: 학습 SSE만 줄이다 일반화 성능을 잃는 현상이다. Q-13에서 다룬다.
꼬리 질문
Q. SSE와 MSE는 어떻게 다른가요? MSE는 SSE를 표본 수 \(n\)으로 나눈 값입니다. 표본 수가 다른 데이터끼리 비교할 수 있고, 제곱근을 취하면 RMSE로 \(y\)와 단위가 같아집니다. 분산 추정에는 자유도로 나눈 값을 씁니다.
Q. 왜 잔차를 제곱하나요? 양수와 음수가 상쇄되지 않고, 미분 가능해 닫힌 해가 있으며, 오차가 Gaussian이면 SSE 최소화가 최대 가능도 추정과 같아지기 때문입니다. 대신 이상치에 민감합니다.
Q. 줄일 수 없는 오차의 크기는 어떻게 추정하나요? 같은 입력에서 반복 측정한 값이 있으면 그 흩어짐으로 직접 추정할 수 있습니다. 없으면 여러 모델의 검증 오차로 대략의 하한을 가늠할 뿐이고, 입력에 없는 정보까지 고려한 값은 알 수 없습니다.