3 Inseok Kong Schedule

Q-24. Training set, validation set, test set을 얼마나 나누어야 하나요?

정해진 비율은 없으며, 검증과 테스트에 필요한 절대 개수를 먼저 확보하고 나머지를 학습에 쓰는 것이 기본이다.

면접 답변

정해진 정답은 없고, 흔히 쓰는 60:20:20이나 80:10:10은 출발점이 되는 경험칙입니다. 더 중요한 것은 비율보다 검증과 테스트 세트의 절대 개수입니다. 평가의 정밀도는 전체 데이터의 비율이 아니라 평가 샘플의 수로 정해지기 때문입니다. 예를 들어 정확도가 90% 정도일 때 테스트 샘플이 1,000개면 95% 신뢰구간이 약 ±1.9%p이고, 1만 개면 약 ±0.6%p입니다. 그래서 데이터가 100만 개라면 98:1:1도 충분할 수 있고, 수백 개뿐이라면 테스트만 따로 떼어 두고 나머지는 k-fold 교차 검증을 하는 편이 낫습니다. 비율 못지않게 나누는 방식도 중요해서, 시계열은 시간 순서로, 같은 환자의 데이터는 한쪽으로 묶어 나누어야 하고, 테스트 세트는 실제 서비스 분포를 반영해야 하며 최종 평가에 한 번만 써야 합니다.

자세한 설명

각 세트의 역할

세트 쓰임 필요한 크기를 정하는 것
학습(training) 파라미터를 학습한다 모델 복잡도와 문제 난이도
검증(validation) 하이퍼파라미터와 모델을 고른다 비교할 모델의 수, 구별하려는 성능 차이
테스트(test) 선택이 끝난 뒤 일반화 성능을 추정한다 원하는 추정 정밀도

학습 데이터가 많을수록 보통 모델이 좋아지고, 평가 데이터가 많을수록 성능 추정이 정밀해지므로 둘은 절충 관계이다. 평가 쪽에 필요한 양을 채우고 나면, 나머지는 학습에 쓰는 것이 합리적이다.

테스트 세트는 얼마나 커야 하는가

독립 샘플 \(n\)개에서 측정한 정확도 \(\hat{p}\)의 표준오차는 정규 근사에서 다음과 같다.

\[\text{SE} = \sqrt{\frac{\hat{p}(1 - \hat{p})}{n}}\]

95% 신뢰구간의 반폭은 \(E = 1.96\,\text{SE}\)이다. \(\hat{p} = 0.9\)이면 다음과 같다.

테스트 샘플 \(n\) 표준오차 95% 신뢰구간 반폭
100 3.00%p ±5.88%p
1,000 0.95%p ±1.86%p
10,000 0.30%p ±0.59%p
100,000 0.09%p ±0.19%p

식을 \(n\)에 대해 풀면 목표 반폭 \(E\)에 필요한 개수를 얻는다.

\[n = \frac{1.96^2 \hat{p}(1 - \hat{p})}{E^2}\]

\(\hat{p} = 0.9\)일 때 \(E = 1\%p\)이면 약 3,460개, \(E = 0.5\%p\)이면 약 13,830개이다. 정밀도를 2배 높이려면 샘플이 4배 필요하다. 전체 데이터가 1만 개든 1억 개든 이 계산은 같다. 그래서 데이터가 많아지면 평가 세트의 비율을 줄일 수 있다. 한 클래스의 지표가 중요하다면 \(n\)을 전체 샘플이 아니라 그 클래스의 샘플 수로 계산해야 한다. 예컨대 양성이 1%인 데이터의 테스트 샘플 1만 개에는 양성이 100개 정도뿐이어서 재현율 추정은 훨씬 부정확하다.

상황별 출발점

아래는 경험칙이며 위의 계산으로 조정해야 한다.

상황 흔한 선택
수백 개 이하 테스트를 떼어 둔 뒤 k-fold 교차 검증, 또는 중첩 교차 검증(nested CV)
수천에서 수만 개 60:20:20, 80:10:10 또는 테스트를 뗀 뒤 5-fold 교차 검증
수백만 개 98:1:1처럼 평가 세트를 수만 개 수준으로

나누는 방식이 비율보다 중요할 때가 있다

  • 층화 분할(stratified split): 클래스 비율을 세트마다 같게 유지한다. 드문 클래스가 있을 때 특히 필요하다.
  • 그룹 분할: 같은 환자, 같은 사용자, 같은 문서의 샘플이 양쪽에 있으면 성능이 부풀려지므로 그룹 단위로 나눈다.
  • 시간 분할: 미래를 예측하는 문제는 과거로 학습하고 미래로 평가한다. 무작위 분할은 미래 정보를 학습에 넣게 된다.
  • 중복 제거: 같거나 거의 같은 샘플이 양쪽에 있지 않은지 확인한다.
  • 분포 맞추기: 검증과 테스트는 실제 서비스 분포를 대표해야 하고 서로 같은 분포여야 한다. 학습 데이터만 다른 곳에서 많이 얻었다면 그 차이를 진단하기 위한 별도의 train-dev 세트를 두기도 한다.

테스트 세트를 지키는 법

테스트 결과를 보고 모델을 고치면 테스트 세트도 사실상 검증 세트가 되어 성능 추정이 낙관적으로 된다. 검증 세트도 같은 이유로 오래 쓸수록 과적합될 수 있으므로, 후보가 많을수록 넉넉해야 한다. 전처리 통계도 학습 세트로만 계산한다. 선택이 끝나면 학습과 검증을 합쳐 다시 학습할 수 있으며, 이때 테스트 평가는 재학습된 최종 모델에 한다.

관련 개념

  • Training set과 Test set의 차이: 왜 세트를 나누는지에 대한 기본 설명이다. Q-12에서 다룬다.
  • k-fold 교차 검증(cross-validation): 데이터를 \(k\)개로 나누어 번갈아 평가에 쓰는 방법으로, 데이터가 적을 때 유리하지만 비용이 \(k\)배이다. Machine Learning 11에서 다룬다.
  • 과적합(overfitting): 평가 데이터를 분리해 탐지하는 현상이다. Q-13에서 다룬다.
  • 학습 곡선(learning curve): 학습 샘플을 늘리며 오차를 그린 곡선이다. 데이터를 더 학습에 넣을 가치가 있는지 판단하게 해 준다. Deep Learning 3에서 다룬다.

꼬리 질문

Q. 왜 검증 세트와 테스트 세트를 둘 다 두나요? 검증 세트의 성능으로 모델을 고르면 그 값은 선택 과정의 영향으로 낙관적이 된다. 선택에 쓰지 않은 테스트 세트가 있어야 일반화 성능을 편향 없이 추정할 수 있다.

Q. k는 얼마로 하나요? 5나 10을 많이 쓴다. \(k\)가 크면 각 폴드의 학습 데이터가 전체에 가까워지지만 계산 비용이 늘어난다. 샘플을 하나씩 빼는 LOOCV는 그 극단으로, 작은 데이터에서 쓴다.

Q. 테스트 성능이 검증 성능보다 많이 낮으면 무엇을 의심하나요? 검증 세트 과적합, 두 세트의 분포 차이, 분할 과정의 누수를 의심한다. 샘플이 적다면 우연한 변동일 수도 있으므로 신뢰구간도 확인한다.