3 Inseok Kong Schedule

Q-12. Training Set과 Test Set의 차이는 무엇인가요?

Training set은 모델의 매개변수를 학습하는 데 쓰고, Test set은 학습과 모델 선택이 끝난 뒤 처음 보는 데이터에서의 성능을 추정하는 데 쓴다.

면접 답변

Training set은 모델의 매개변수를 학습하는 데 쓰고, Test set은 모든 결정이 끝난 뒤 처음 보는 데이터에서의 성능을 추정하는 데 씁니다. 이렇게 나누는 이유는 학습 데이터에서의 성능이 낙관적이기 때문인데, 데이터를 외우기만 해도 학습 성능은 완벽해질 수 있습니다. 모델을 고르고 튜닝하는 데는 별도의 validation set을 쓰며, Test set을 그 용도로 반복해서 쓰면 Test set에도 맞춰져 성능을 과대평가하게 됩니다. 예를 들어 학습 정확도가 99%인데 테스트 정확도가 80%라면 과적합을 의심합니다. 또한 두 집합이 실제 사용 상황을 반영해야 하므로, 주가 예측이라면 무작위로 섞지 않고 과거로 학습해 미래로 평가합니다.

자세한 설명

세 집합의 역할

집합 무엇을 정하는가 사용 횟수
Training 가중치 같은 매개변수 학습 중 계속
Validation 하이퍼파라미터, 모델 선택, 조기 종료 여러 번
Test 아무것도 정하지 않음, 최종 성능 추정 마지막에 한 번

Test set이 추정하는 것은 분포 \(\mathcal{D}\) 전체에 대한 위험이다. 학습된 모델 \(\hat{f}\), 손실 \(L\), 테스트 샘플 수 \(m\)에 대해 다음과 같다.

\[R(\hat{f}) = \mathbb{E}_{(x, y) \sim \mathcal{D}} \big[ L(\hat{f}(x), y) \big] \approx \frac{1}{m} \sum_{j=1}^{m} L\big(\hat{f}(x_j), y_j\big)\]

이 근사가 편향 없이 성립하려면 테스트 데이터가 \(\hat{f}\)를 만드는 과정과 독립이어야 한다. 학습 데이터는 \(\hat{f}\)를 결정하는 데 쓰였으므로 이 조건을 만족하지 못한다.

테스트 성능도 추정치이다

테스트 정확도 \(\hat{p}\)의 표준오차는 샘플 수가 \(m\)일 때 대략 다음과 같다.

\[\text{SE} = \sqrt{\frac{\hat{p}(1 - \hat{p})}{m}}\]

\(\hat{p} = 0.9\)일 때 \(m = 100\)이면 \(\text{SE} = 0.03\)이고 95% 신뢰구간은 대략 \(\pm 5.9\)%포인트이다. \(m = 10{,}000\)이면 \(\text{SE} = 0.003\)이고 대략 \(\pm 0.59\)%포인트이다. 테스트 샘플 100개로는 90%와 92%인 모델을 구별하기 어렵다.

Test set을 재사용하면 생기는 일

입력을 보지 않고 동전 던지기로 답하는 이진 분류기는 진짜 정확도가 50%이다. 이런 분류기 1,000개를 샘플 100개의 Test set으로 평가해 가장 좋은 것을 고르는 시뮬레이션을 2,000회 반복하면, 선택된 분류기의 테스트 정확도는 평균 약 66%가 된다. 어떤 분류기도 실제로 학습한 것이 없는데 고르는 행위만으로 16%포인트가 부풀려진다.

실제 모델은 이렇게 극단적이지 않고 비슷한 모델끼리 상관이 있어 부풀림이 더 작지만, 방향은 같다. 그래서 선택에는 validation set을 쓰고, 선택에 쓴 점수는 최종 성능으로 보고하지 않는다.

어떻게 나눌 것인가

  • 분포 유지: 분류에서는 층화 추출로 클래스 비율을 유지한다.
  • 시간 구조: 시계열이나 시간에 따라 변하는 데이터는 시간순으로 나눈다.
  • 그룹 구조: 같은 환자나 사용자의 데이터가 양쪽에 들어가면 성능이 부풀려지므로 그룹 단위로 나눈다.
  • 중복: 같은 샘플이 양쪽에 있으면 누수이므로 먼저 제거한다.
  • 전처리: 표준화, 결측 대체, 특징 선택은 학습 데이터로만 맞추고 그 변환을 테스트에 적용한다.

관련 개념

  • 과적합: 학습 오차와 테스트 오차의 차이가 커지는 현상이다. 과적합을 참고한다.
  • 교차 검증: 데이터가 적을 때 validation을 대신해 여러 폴드로 모델을 비교한다. Machine Learning 11에 k겹과 LOOCV가 정리되어 있다.
  • 데이터 분할 비율: 비율은 데이터 크기에 따라 달라진다. 데이터 분할에서 다룬다.
  • 검증 집합 실무: 학습, 검증, 테스트로 하이퍼파라미터를 고르는 흐름은 Deep Learning 3에서 다룬다.

꼬리 질문

Q. Test set 성능을 본 뒤 성능이 나빠서 모델을 고치면 어떻게 되나요? 그 Test set은 모델 결정에 쓰인 셈이 되어 더 이상 독립적이지 않다. 성능 추정이 낙관적일 수 있음을 인정하고, 가능하면 새로운 데이터로 다시 평가한다.

Q. 최종 모델은 학습 데이터로만 학습한 것을 배포하나요? 설정을 모두 고정하고 테스트 평가를 마친 뒤 학습, 검증, 테스트 데이터를 합쳐 다시 학습해 배포하기도 한다. 이 모델을 평가할 별도의 데이터는 없으므로, 테스트 추정치가 근사적으로 적용된다고 가정하는 것이다.

Q. 테스트 성능이 학습 성능보다 높게 나오면 무엇이 문제인가요? 우연일 수 있으며, 테스트 데이터가 적을수록 그렇다. 드롭아웃이나 데이터 증강처럼 학습 시에만 적용되는 정규화 때문일 수도 있다. 차이가 크면 분할이 동일한 분포가 아니거나 테스트가 쉬운 샘플로 치우쳤는지 확인한다.