- 질문 출처: Science Vibe, 머신러닝 면접 질문 모음
면접 답변
교차 검증은 데이터를 여러 조각으로 나누어, 한 조각을 검증에 쓰고 나머지로 학습하는 과정을 돌아가며 반복해 일반화 성능을 추정하는 방법입니다. 검증 세트를 한 번만 떼어 놓으면 어떻게 나뉘었는지에 결과가 크게 좌우되고 학습 데이터도 줄어드는데, 교차 검증은 모든 샘플을 검증에 한 번씩 쓰므로 데이터를 더 효율적으로 활용합니다. 예를 들어 5-fold라면 모델을 5번 학습해 5개의 검증 점수를 평균하고, 그 평균으로 하이퍼파라미터나 모델을 고릅니다. 가장 주의할 점은 데이터 누수입니다. 전처리나 특징 선택은 반드시 각 폴드의 학습 데이터만으로 해야 하고, 시계열이나 같은 환자의 반복 측정처럼 샘플이 독립이 아니면 분할 방식도 그에 맞춰야 합니다. 또 교차 검증으로 모델을 고른 뒤의 그 점수는 낙관적일 수 있어서, 최종 성능은 별도의 테스트 세트나 중첩 교차 검증으로 확인합니다.
자세한 설명
절차
데이터를 \(k\)개의 폴드 \(F_1, \dots, F_k\)로 나눈다. \(F_j\)를 제외하고 학습한 모델을 \(\hat{f}^{(-j)}\), 손실을 \(L\)이라 하면 추정치는 다음과 같다.
\[\text{CV}_k = \frac{1}{k} \sum_{j=1}^{k} \frac{1}{\lvert F_j \rvert} \sum_{i \in F_j} L\left(y_i, \hat{f}^{(-j)}(\mathbf{x}_i)\right)\]이 값은 특정 모델 하나의 성능이라기보다, 그 학습 절차를 약 \((k-1)/k\) 크기의 데이터에 적용했을 때의 기대 성능을 추정한다. 설정을 고른 뒤에는 보통 전체 데이터로 다시 학습한다.
실험: 다항식 차수 고르기
\(y = \sin(2\pi x) + \varepsilon\), \(\sigma = 0.3\)에서 표본 40개를 뽑아 5-fold로 다항식 차수를 비교했다. 테스트 MSE는 별도 표본 20,000개로 계산했다.
| 차수 | 학습 MSE | CV MSE | 폴드 간 표준편차 | 테스트 MSE |
|---|---|---|---|---|
| 1 | 0.2843 | 0.3394 | 0.1253 | 0.2971 |
| 3 | 0.1023 | 0.1417 | 0.0841 | 0.1004 |
| 5 | 0.0736 | 0.1246 | 0.0719 | 0.1207 |
| 9 | 0.0692 | 0.2056 | 0.1125 | 0.1422 |
학습 MSE는 차수와 함께 계속 줄지만 CV MSE는 그렇지 않으므로 과적합을 잡아낸다. 다만 CV가 고른 차수 5는 이번 표본에서 테스트 최선인 차수 3과 다르다. 폴드 간 표준편차가 커서 두 차수의 차이는 오차 범위 안에 있다. 1-표준오차 규칙은 최소 CV 값에 표준오차 \(0.0719/\sqrt{5} = 0.0322\)를 더한 0.1568 안에서 가장 단순한 모델을 고르며, 여기서는 차수 3을 선택한다. 폴드끼리 학습 데이터를 공유해 독립이 아니므로 이 표준오차는 어림값이다.
데이터 누수
흔히 하는 실수는 전체 데이터로 특징을 고른 뒤 교차 검증하는 것이다. 다음과 같은 순수 노이즈 데이터로 확인했다. 표본 50개, 특징 5,000개, 레이블은 특징과 무관하게 절반씩이다. 상관이 큰 특징 20개를 고르고 최근접 중심 분류기로 5-fold 정확도를 쟀다. 50회 평균 결과는 다음과 같다.
| 특징 선택 위치 | 5-fold 정확도 |
|---|---|
| 분할 전, 전체 데이터로 | 0.967 |
| 폴드마다, 학습 데이터로만 | 0.493 |
참 정확도는 0.5이다. 잘못된 절차는 아무 신호가 없는 데이터에서 96.7%를 보고한다. 표준화, 결측값 대체, 오버샘플링도 같은 규칙을 따라 학습 폴드 안에서 해야 한다.
변형
| 방법 | 쓰는 경우 | 주의점 |
|---|---|---|
| K-fold (\(k = 5, 10\)) | 일반적인 경우 | 모델을 \(k\)번 학습 |
| Stratified K-fold | 분류, 특히 클래스 불균형 | 폴드의 클래스 비율 유지 |
| Group K-fold | 같은 환자, 사용자의 샘플이 여럿 | 한 그룹을 한 폴드에만 배치 |
| Time series split | 시간 순서가 있는 데이터 | 과거로 학습해 미래로 검증 |
| Leave-one-out | 표본이 매우 적은 경우 | 대체로 계산 비용이 큼 |
| 중첩(nested) CV | 튜닝과 성능 추정을 함께 | 내부로 튜닝, 외부로 평가 |
\(k\)가 크면 각 학습 세트가 전체에 가까워 비관적 편향이 줄지만 계산이 늘어난다. 분산은 모델과 데이터에 따라 달라, \(k\)가 크면 분산도 항상 크다고 단정할 수는 없다.
관련 개념
- 데이터 분할: 교차 검증을 쓸지, 단일 검증 세트로 충분한지의 판단은 Q-24에서 다룬다.
- 모델 선택: 복잡도와 정규화 강도를 고르는 맥락은 Machine Learning 11에서 이어진다.
- 과적합: CV 곡선이 학습 곡선과 벌어지는 현상이다. Q-13을 참고한다.
- 부트스트랩: 복원 추출로 성능의 불확실성을 추정하는 또 다른 재표본 방법이다. Q-103에서 다룬다.
꼬리 질문
Q. 딥러닝에서는 왜 교차 검증을 잘 쓰지 않나요? 학습 한 번이 비싸고 데이터가 많으면 단일 검증 세트로도 추정이 안정적이기 때문입니다. 표본이 적은 의료 영상처럼 분할의 영향이 크면 딥러닝에서도 씁니다.
Q. 교차 검증 뒤에도 테스트 세트가 필요한가요? 네. 여러 후보 중 CV 점수가 가장 높은 것을 고르면 그 점수는 선택 때문에 낙관적이 됩니다. 분리된 테스트 세트나 중첩 교차 검증으로 평가합니다.
Q. 최종 모델은 폴드 중 어떤 것을 쓰나요? 보통 어느 폴드의 모델도 아니라, 고른 설정으로 전체 학습 데이터에서 다시 학습한 모델을 씁니다. 폴드 모델들을 앙상블하기도 합니다.