- 질문 출처: Science Vibe, 머신러닝 면접 질문 모음
면접 답변
스태킹(stacking)은 여러 기본 모델의 예측값을 입력으로 받아, 이를 어떻게 결합할지를 메타 모델이 학습하게 하는 앙상블입니다. 단순 평균은 모든 모델을 같은 비중으로 다루지만, 메타 모델은 어떤 모델을 얼마나 믿을지 데이터에서 배울 수 있습니다. 예를 들어 랜덤 포레스트, SVM, 신경망의 예측을 특징으로 삼아 로지스틱 회귀를 학습시킵니다. 가장 중요한 점은 메타 모델의 학습 데이터로 기본 모델의 out-of-fold 예측을 써야 한다는 것입니다. 기본 모델이 이미 본 데이터에 대한 예측을 쓰면 과적합된 모델을 과하게 신뢰하게 되어 테스트 성능이 나빠집니다.
자세한 설명
학습 절차
샘플 \(n\)개, 기본 모델 \(M\)개, 교차 검증 \(K\)겹이라고 하자.
- 각 기본 모델 \(m\)에 대해 \(K\)겹 교차 검증을 수행한다. 샘플 \(i\)가 속한 겹을 뺀 나머지로 학습한 모델이 \(i\)를 예측한 값을 \(z_{im}\)이라 한다. 이것이 out-of-fold(OOF) 예측이다.
- \(n \times M\) 행렬 \(Z\)와 정답 \(y\)로 메타 모델 \(g\)를 학습한다.
- 기본 모델을 학습 데이터 전체로 다시 학습한다. 겹별 모델 \(K\)개의 예측을 평균하는 방법도 쓴다.
- 새 입력 \(\mathbf{x}\)의 예측은 다음과 같다.
OOF 예측이 필요한 이유
학습 데이터를 거의 외우는 모델이 있다고 하자. 그 모델의 학습 데이터 예측은 정답과 거의 일치하므로, 메타 모델은 이 모델에 거의 모든 비중을 준다. 그러나 테스트에서는 이 모델의 성능이 그만큼 나오지 않는다. 메타 모델이 보는 분포와 테스트에서 보는 분포가 다르기 때문이다. OOF 예측은 각 샘플을 보지 않은 모델에서 나오므로 테스트 상황과 비슷하다.
설계 지침
- 기본 모델은 서로 달라야 한다. 비슷한 모델만 모으면 메타 모델이 얻을 새 정보가 적다.
- 메타 모델은 단순하게 시작한다. 입력인 예측들은 서로 상관이 높고 메타 학습에 쓸 정보도 제한적이어서, 복잡한 메타 모델은 과적합되기 쉽다. 정규화된 선형 모델을 흔히 쓴다.
- 분류에서는 레이블보다 확률을 입력으로 쓰는 것이 보통이다. 확신 정도라는 정보가 더 담긴다.
- 성능 평가는 별도로 한다. 전체 절차를 바깥 교차 검증이나 테스트 세트로 평가해야 낙관적인 추정을 피할 수 있다.
다른 결합 방식과의 비교
| 방식 | 결합 방법 | 메타 학습 데이터 |
|---|---|---|
| 평균/투표 | 고정 규칙 | 없음 |
| 가중 평균 | 검증 데이터로 정한 가중치 | 검증 세트 |
| 블렌딩(blending) | 메타 모델 | 따로 떼어 둔 hold-out 세트 |
| 스태킹 | 메타 모델 | 전체 학습 데이터의 OOF 예측 |
블렌딩은 구현이 간단하지만 메타 모델이 hold-out 데이터만 사용한다. 스태킹은 모든 데이터를 활용하지만 기본 모델을 \(K\)번씩 추가로 학습해야 한다.
관련 개념
- 앙상블: 스태킹이 속한 큰 범주이다. Q-100에서 다룬다.
- 교차 검증: OOF 예측은 교차 검증 과정의 부산물이다. Q-74를 참고한다.
- 배깅과 부스팅: 보통 같은 종류의 모델을 정해진 규칙으로 결합한다. 스태킹은 다른 종류의 모델을 학습된 규칙으로 결합하는 경우가 많다. Q-105를 참고한다.
꼬리 질문
Q. 메타 모델에 원래 특징도 함께 넣어도 되나요? 가능합니다. 어떤 영역에서 어떤 모델을 믿을지 배울 수 있지만, 입력 차원이 늘어 과적합 위험도 커지므로 검증으로 확인해야 합니다.
Q. 스태킹이 실무에서 자주 쓰이지 않는 이유는 무엇인가요? 학습과 추론 비용, 유지 보수 부담이 크고 해석이 어렵기 때문입니다. 향상 폭이 작으면 단일 모델이나 단순 평균을 선택하는 경우가 많습니다.
Q. 시계열 데이터에도 일반적인 K-fold로 OOF를 만들어도 되나요? 안 됩니다. 미래 데이터로 과거를 예측하게 되어 누수가 생깁니다. 시간 순서를 지키는 분할로 OOF 예측을 만들어야 합니다.