3 Inseok Kong Schedule

Q-100. Ensemble이란?

앙상블은 여러 모델의 예측을 결합해 단일 모델보다 나은 성능을 얻는 방법이며, 모델들의 오차가 서로 다를수록 효과가 크다.

면접 답변

앙상블(ensemble)은 여러 모델의 예측을 투표나 평균 등으로 결합해 하나의 예측을 만드는 방법입니다. 모델마다 틀리는 지점이 다르면 결합 과정에서 개별 오차가 서로 상쇄되기 때문에 성능이 좋아집니다. 예를 들어 정확도 70%인 분류기 5개의 오차가 서로 독립이라면 다수결 정확도는 약 83.7%까지 오릅니다. 다만 이것은 독립이라는 이상적인 가정에서의 값이고, 실제 모델들은 오차가 상관되어 있어 이득이 더 작습니다. 그래서 앙상블의 핵심은 모델 수보다 다양성이며, 대표적인 방식으로 분산을 줄이는 배깅, 편향을 줄이는 부스팅, 예측을 다시 학습하는 스태킹이 있습니다.

자세한 설명

분류: 다수결

각 분류기가 독립이고 정확도가 \(p\)일 때, 홀수 \(M\)개의 다수결이 맞을 확률은 다음과 같다.

\[P(\text{majority correct}) = \sum_{k=(M+1)/2}^{M} \binom{M}{k} p^k (1-p)^{M-k}\]
\(M\) \(p = 0.7\) \(p = 0.4\)
1 0.7000 0.4000
5 0.8369 0.3174
21 0.9736 0.1744

\(p\)가 0.5보다 크면 다수결이 유리하지만, 0.5보다 작으면 오히려 나빠진다. 즉, 성능이 낮은 모델을 많이 모은다고 항상 좋아지는 것은 아니다.

회귀: 평균

분산이 \(\sigma^2\)이고 쌍별 상관계수가 \(\rho\)인 예측 \(M\)개를 평균하면 그 분산은 다음과 같다.

\[\text{Var}\left(\frac{1}{M}\sum_{m=1}^{M} \hat{f}_m\right) = \rho\sigma^2 + \frac{1-\rho}{M}\sigma^2\]

\(\sigma^2 = 1\)일 때의 값은 다음과 같다.

  \(M = 10\) \(M = 100\) \(M \to \infty\)
\(\rho = 0\) 0.100 0.010 0
\(\rho = 0.3\) 0.370 0.307 0.300

두 번째 항은 \(M\)을 늘리면 사라지지만, 첫 번째 항 \(\rho\sigma^2\)는 남는다. 모델을 더 추가하는 것만으로는 상관에서 오는 분산을 줄일 수 없으므로, 다양성이 중요하다.

주요 방식

방식 학습 방법 주로 줄이는 것 예
배깅 부트스트랩 표본으로 병렬 학습 후 평균 분산 랜덤 포레스트
부스팅 이전 모델의 오차를 보완하며 순차 학습 편향 AdaBoost, Gradient Boosting
스태킹 기본 모델의 예측을 입력으로 메타 모델 학습 경우에 따라 다름 서로 다른 모델 결합

다양성은 학습 데이터(배깅), 특징(랜덤 포레스트), 초기값(신경망), 알고리즘 종류(스태킹)를 달리해 얻는다.

비용

앙상블은 학습과 추론 비용, 메모리가 늘고 해석이 어려워진다. 정확도 향상이 이 비용보다 큰지 판단해야 한다.

관련 개념

  • 편향-분산 트레이드오프: 앙상블의 효과는 이 분해로 설명된다. Q-28을 참고한다.
  • 의사결정나무: 분산이 커서 앙상블의 기본 모델로 자주 쓰인다. Q-8에서 다룬다.
  • 부트스트랩: 배깅이 데이터 다양성을 만드는 방법이다. Q-103에서 다룬다.

꼬리 질문

Q. 같은 모델을 그대로 여러 개 평균하면 효과가 있나요? 완전히 같은 예측이면 \(\rho = 1\)이므로 효과가 없습니다. 초기값이나 데이터가 달라 예측이 달라질 때만 분산이 줄어듭니다.

Q. Hard voting과 soft voting의 차이는 무엇인가요? Hard voting은 예측 레이블을 세고, soft voting은 예측 확률을 평균합니다. 확률이 잘 보정되어 있으면 확신 정도까지 반영하는 soft voting이 유리한 경우가 많습니다.

Q. 앙상블이 단일 모델보다 항상 좋은가요? 아닙니다. 기본 모델들의 오차가 거의 같거나, 일부 모델의 성능이 지나치게 낮으면 이득이 없거나 오히려 나빠질 수 있습니다. 검증 데이터로 확인해야 합니다.