- 질문 출처: Science Vibe, 머신러닝 면접 질문 모음
면접 답변
부스팅(boosting)은 성능이 낮은 약한 모델을 순차적으로 학습해, 각 모델이 앞선 모델들이 틀린 부분을 보완하도록 만드는 앙상블입니다. 단순한 모델도 조금씩 오차를 고쳐 가며 더하면 복잡한 함수를 표현할 수 있기 때문에 주로 편향을 줄입니다. AdaBoost는 틀린 샘플의 가중치를 높이고, Gradient Boosting은 손실의 음의 기울기를 다음 모델의 목표로 삼습니다. 표 형태의 데이터에서 널리 쓰이는 XGBoost와 LightGBM이 대표적인 구현입니다. 다만 순차적으로 오차에 집중하므로 노이즈에 민감할 수 있어서, 학습률과 나무 깊이를 제한하고 조기 종료를 함께 사용합니다.
자세한 설명
가법 모델
부스팅의 최종 모델은 약한 모델 \(h_t\)의 가중합이다.
\[F_T(\mathbf{x}) = \sum_{t=1}^{T}\alpha_t h_t(\mathbf{x})\]기존 모델을 고정하고 손실 \(L\)을 가장 줄이는 다음 항을 찾는 과정을 반복한다. \(\nu\)는 학습률이다.
\[F_t(\mathbf{x}) = F_{t-1}(\mathbf{x}) + \nu\,\alpha_t h_t(\mathbf{x}), \qquad (\alpha_t, h_t) \approx \arg\min_{\alpha, h} \sum_{i=1}^{n} L\left(y_i, F_{t-1}(\mathbf{x}_i) + \alpha h(\mathbf{x}_i)\right)\]즉, 부스팅은 함수 공간에서 탐욕적으로 손실을 줄여 가는 최적화로 볼 수 있다. 이 관점은 Friedman, Hastie, Tibshirani(2000)와 Friedman(2001)이 정리했다.
약한 모델
약한 학습기(weak learner)는 무작위 추측보다 조금 나은 모델을 말한다. 약한 학습기를 강한 학습기로 바꿀 수 있는지는 이론적 질문이었고, Schapire(1990)가 가능함을 보였다. 실제로는 스텀프(깊이 1 나무)나 깊이가 얕은 나무를 많이 쓴다. 나무를 얕게 두면 각 단계의 변화가 작아 분산이 억제된다.
조절 항목
| 항목 | 값을 키우면 | 비고 |
|---|---|---|
| 모델 수 \(T\) | 학습 오차 감소, 결국 과적합 가능 | 조기 종료로 정함 |
| 학습률 \(\nu\) | 빠르게 학습, 과적합 쉬움 | 작게 잡으면 \(T\)가 더 필요 |
| 나무 깊이 | 표현력과 특징 상호작용 증가 | 보통 얕게 사용 |
| 서브샘플 비율 | 비율을 낮추면 분산 감소 효과 | stochastic gradient boosting |
배깅과 달리 모델 수를 계속 늘리면 검증 오차가 다시 나빠질 수 있으므로 \(T\)가 중요한 하이퍼파라미터이다.
장단점
- 장점: 표 형태 데이터에서 성능이 높은 편이고, 나무 기반 구현은 전처리 부담이 작다.
- 단점: 순차 학습이어서 트리 단위 병렬화가 어렵다. 레이블 노이즈나 이상치에 민감할 수 있으며, 특히 지수 손실을 쓰는 AdaBoost에서 두드러진다.
관련 개념
- 알고리즘별 차이: AdaBoost, LogitBoost, Gradient Boosting은 Q-106에서 다룬다.
- 배깅과의 비교: 실험과 함께 Q-105에서 다룬다.
- 경사하강법: Gradient Boosting은 파라미터 대신 함수에 경사하강을 적용한다. Q-15를 참고한다.
- 앙상블: 부스팅이 속한 범주이다. Q-100을 참고한다.
꼬리 질문
Q. 부스팅은 왜 복잡한 나무 대신 얕은 나무를 쓰나요? 각 단계에서 조금씩 고쳐 나가는 방식이므로 기본 모델이 단순해도 전체 모델은 복잡해집니다. 깊은 나무는 몇 단계 만에 학습 데이터에 과적합될 수 있습니다.
Q. 학습률을 낮추면 어떤 효과가 있나요? 각 모델의 기여가 줄어드는 shrinkage 효과로 일반화가 좋아지는 경향이 있습니다. 대신 더 많은 모델이 필요해 학습과 추론 시간이 늘어납니다.
Q. 부스팅은 항상 과적합되나요? 항상은 아닙니다. AdaBoost에서 학습 오차가 0이 된 뒤에도 테스트 오차가 계속 줄어드는 현상이 관찰되어 마진 관점의 설명이 제안되었습니다. 그래도 노이즈가 많으면 과적합되므로 검증으로 \(T\)를 정해야 합니다.