3 Inseok Kong Schedule

Q-74. Cross Validation이란?

교차 검증은 데이터를 여러 폴드로 나눠 돌아가며 학습과 검증을 반복하고 그 평균으로 일반화 성능을 추정하는 방법이다.

면접 답변

교차 검증은 데이터를 여러 조각으로 나누어, 한 조각을 검증에 쓰고 나머지로 학습하는 과정을 돌아가며 반복해 일반화 성능을 추정하는 방법입니다. 검증 세트를 한 번만 떼어 놓으면 어떻게 나뉘었는지에 결과가 크게 좌우되고 학습 데이터도 줄어드는데, 교차 검증은 모든 샘플을 검증에 한 번씩 쓰므로 데이터를 더 효율적으로 활용합니다. 예를 들어 5-fold라면 모델을 5번 학습해 5개의 검증 점수를 평균하고, 그 평균으로 하이퍼파라미터나 모델을 고릅니다. 가장 주의할 점은 데이터 누수입니다. 전처리나 특징 선택은 반드시 각 폴드의 학습 데이터만으로 해야 하고, 시계열이나 같은 환자의 반복 측정처럼 샘플이 독립이 아니면 분할 방식도 그에 맞춰야 합니다. 또 교차 검증으로 모델을 고른 뒤의 그 점수는 낙관적일 수 있어서, 최종 성능은 별도의 테스트 세트나 중첩 교차 검증으로 확인합니다.

자세한 설명

절차

데이터를 \(k\)개의 폴드 \(F_1, \dots, F_k\)로 나눈다. \(F_j\)를 제외하고 학습한 모델을 \(\hat{f}^{(-j)}\), 손실을 \(L\)이라 하면 추정치는 다음과 같다.

\[\text{CV}_k = \frac{1}{k} \sum_{j=1}^{k} \frac{1}{\lvert F_j \rvert} \sum_{i \in F_j} L\left(y_i, \hat{f}^{(-j)}(\mathbf{x}_i)\right)\]

이 값은 특정 모델 하나의 성능이라기보다, 그 학습 절차를 약 \((k-1)/k\) 크기의 데이터에 적용했을 때의 기대 성능을 추정한다. 설정을 고른 뒤에는 보통 전체 데이터로 다시 학습한다.

실험: 다항식 차수 고르기

\(y = \sin(2\pi x) + \varepsilon\), \(\sigma = 0.3\)에서 표본 40개를 뽑아 5-fold로 다항식 차수를 비교했다. 테스트 MSE는 별도 표본 20,000개로 계산했다.

차수 학습 MSE CV MSE 폴드 간 표준편차 테스트 MSE
1 0.2843 0.3394 0.1253 0.2971
3 0.1023 0.1417 0.0841 0.1004
5 0.0736 0.1246 0.0719 0.1207
9 0.0692 0.2056 0.1125 0.1422

학습 MSE는 차수와 함께 계속 줄지만 CV MSE는 그렇지 않으므로 과적합을 잡아낸다. 다만 CV가 고른 차수 5는 이번 표본에서 테스트 최선인 차수 3과 다르다. 폴드 간 표준편차가 커서 두 차수의 차이는 오차 범위 안에 있다. 1-표준오차 규칙은 최소 CV 값에 표준오차 \(0.0719/\sqrt{5} = 0.0322\)를 더한 0.1568 안에서 가장 단순한 모델을 고르며, 여기서는 차수 3을 선택한다. 폴드끼리 학습 데이터를 공유해 독립이 아니므로 이 표준오차는 어림값이다.

데이터 누수

흔히 하는 실수는 전체 데이터로 특징을 고른 뒤 교차 검증하는 것이다. 다음과 같은 순수 노이즈 데이터로 확인했다. 표본 50개, 특징 5,000개, 레이블은 특징과 무관하게 절반씩이다. 상관이 큰 특징 20개를 고르고 최근접 중심 분류기로 5-fold 정확도를 쟀다. 50회 평균 결과는 다음과 같다.

특징 선택 위치 5-fold 정확도
분할 전, 전체 데이터로 0.967
폴드마다, 학습 데이터로만 0.493

참 정확도는 0.5이다. 잘못된 절차는 아무 신호가 없는 데이터에서 96.7%를 보고한다. 표준화, 결측값 대체, 오버샘플링도 같은 규칙을 따라 학습 폴드 안에서 해야 한다.

변형

방법 쓰는 경우 주의점
K-fold (\(k = 5, 10\)) 일반적인 경우 모델을 \(k\)번 학습
Stratified K-fold 분류, 특히 클래스 불균형 폴드의 클래스 비율 유지
Group K-fold 같은 환자, 사용자의 샘플이 여럿 한 그룹을 한 폴드에만 배치
Time series split 시간 순서가 있는 데이터 과거로 학습해 미래로 검증
Leave-one-out 표본이 매우 적은 경우 대체로 계산 비용이 큼
중첩(nested) CV 튜닝과 성능 추정을 함께 내부로 튜닝, 외부로 평가

\(k\)가 크면 각 학습 세트가 전체에 가까워 비관적 편향이 줄지만 계산이 늘어난다. 분산은 모델과 데이터에 따라 달라, \(k\)가 크면 분산도 항상 크다고 단정할 수는 없다.

관련 개념

  • 데이터 분할: 교차 검증을 쓸지, 단일 검증 세트로 충분한지의 판단은 Q-24에서 다룬다.
  • 모델 선택: 복잡도와 정규화 강도를 고르는 맥락은 Machine Learning 11에서 이어진다.
  • 과적합: CV 곡선이 학습 곡선과 벌어지는 현상이다. Q-13을 참고한다.
  • 부트스트랩: 복원 추출로 성능의 불확실성을 추정하는 또 다른 재표본 방법이다. Q-103에서 다룬다.

꼬리 질문

Q. 딥러닝에서는 왜 교차 검증을 잘 쓰지 않나요? 학습 한 번이 비싸고 데이터가 많으면 단일 검증 세트로도 추정이 안정적이기 때문입니다. 표본이 적은 의료 영상처럼 분할의 영향이 크면 딥러닝에서도 씁니다.

Q. 교차 검증 뒤에도 테스트 세트가 필요한가요? 네. 여러 후보 중 CV 점수가 가장 높은 것을 고르면 그 점수는 선택 때문에 낙관적이 됩니다. 분리된 테스트 세트나 중첩 교차 검증으로 평가합니다.

Q. 최종 모델은 폴드 중 어떤 것을 쓰나요? 보통 어느 폴드의 모델도 아니라, 고른 설정으로 전체 학습 데이터에서 다시 학습한 모델을 씁니다. 폴드 모델들을 앙상블하기도 합니다.