3 Inseok Kong Schedule

Q-22. 머신러닝에서 유용한 metric에는 무엇이 있나요?

유일하게 좋은 metric은 없으며, 분류, 회귀, 랭킹 같은 문제 유형과 오류의 실제 비용에 맞추어 지표를 골라야 한다.

면접 답변

모든 문제에 좋은 metric은 없어서 문제 유형과 오류의 비용을 보고 골라야 합니다. 분류에서는 정확도, 정밀도, 재현율, F1, ROC-AUC, PR-AUC, 로그 손실을 주로 쓰고, 회귀에서는 MAE, RMSE, 결정계수를 씁니다. 추천이나 검색 같은 랭킹 문제에는 Precision@k와 NDCG가 알맞습니다. 예를 들어 양성이 1%인 사기 탐지에서는 모두 정상이라고 답해도 정확도가 99%이므로, 정확도보다 PR-AUC나 재현율이 더 많은 것을 알려 줍니다. 회귀에서는 큰 오차를 강하게 벌주고 싶으면 RMSE, 이상치에 덜 민감하기를 원하면 MAE가 낫습니다. 또 모델을 학습하는 손실과 평가하는 지표는 다를 수 있으므로, 최종 판단은 실제 목표에 가까운 지표로 하고, 수치 하나만 보지 않는 것이 좋습니다.

자세한 설명

분류

\(TP, FP, FN, TN\)은 confusion matrix의 네 칸이다.

지표 정의 언제 쓰는가 주의점
정확도 맞힌 비율 클래스가 균형 있고 오류 비용이 비슷할 때 불균형에 속기 쉽다
정밀도 \(\frac{TP}{TP + FP}\) 오경보의 비용이 클 때 양성 비율에 의존한다
재현율 \(\frac{TP}{TP + FN}\) 놓치는 비용이 클 때 모두 양성이라 하면 1이 된다
F1 정밀도와 재현율의 조화 평균 둘의 균형을 하나의 수로 볼 때 TN을 보지 않고 임계값에 의존한다
ROC-AUC 무작위 양성의 점수가 무작위 음성보다 높을 확률 임계값과 무관한 순서 평가 극단적 불균형에서 낙관적으로 보일 수 있다
PR-AUC 정밀도-재현율 곡선 아래 면적 양성이 드물고 양성 탐지가 중요할 때 기준선이 양성 비율이라 데이터 간 비교가 어렵다
로그 손실 음의 로그우도 확률 자체의 품질이 중요할 때 자신 있는 오답에 큰 벌점을 준다

로그 손실은 같은 분류 결과라도 확률의 질을 구별한다. 정답이 양성일 때 확률이 0.9이면 샘플 손실은 약 0.105, 0.1이면 약 2.303이다. 다중 분류에서는 클래스별 지표를 macro 평균(클래스를 동등하게 평균)이나 micro 평균(전체 샘플의 칸을 합산)으로 합친다.

회귀

\(y_i\)를 정답, \(\hat{y}_i\)를 예측, \(\bar{y}\)를 정답의 평균, \(N\)을 샘플 수라 하자.

\[\text{MAE} = \frac{1}{N} \sum_{i=1}^{N} \lvert y_i - \hat{y}_i \rvert, \qquad \text{RMSE} = \sqrt{\frac{1}{N} \sum_{i=1}^{N} (y_i - \hat{y}_i)^2}\] \[R^2 = 1 - \frac{\sum_{i} (y_i - \hat{y}_i)^2}{\sum_{i} (y_i - \bar{y})^2}\]
  • MAE와 RMSE: 둘 다 정답과 단위가 같다. 절대 오차 5개가 \((1, 1, 1, 1, 1)\)이면 둘 다 1이다. \((1, 1, 1, 1, 16)\)이면 MAE는 4이지만 RMSE는 약 7.21로, RMSE가 큰 오차 하나에 더 민감하다.
  • 결정계수 \(R^2\): 평균만 예측하는 기준 모델에 비해 오차가 얼마나 줄었는지를 나타낸다. 테스트 데이터에서는 음수가 될 수 있다.
  • MAPE: 백분율이어서 설명하기 쉽지만 정답이 0이면 정의되지 않고, 0에 가까우면 값이 폭증한다.

랭킹과 추천

  • Precision@k, Recall@k: 상위 \(k\)개 결과만 보고 계산한 정밀도와 재현율이다.
  • NDCG@k: 정답의 관련도와 위치를 함께 본다. \(i\)번째 결과의 관련도를 \(r_i\)라 하면 다음 값을 가장 이상적인 순서의 값으로 나눈 것이다.
\[\text{DCG@}k = \sum_{i=1}^{k} \frac{2^{r_i} - 1}{\log_2 (i + 1)}\]

그 밖의 과제

과제 지표 메모
군집화 Silhouette, Adjusted Rand Index Silhouette는 정답 없이, ARI는 정답 레이블과 비교해 쓴다
객체 탐지 mAP, IoU 위치와 분류를 함께 평가한다
번역, 요약 BLEU, ROUGE 참조 문장과 얼마나 겹치는지를 보며 의미를 완전히 반영하지는 못한다
이미지 생성 FID 생성 분포와 실제 분포의 특징 통계 차이를 본다

지표를 고르는 순서

  1. 비즈니스 목표에서 시작한다. 어떤 오류가 얼마나 비싼지 먼저 묻는다.
  2. 기준선을 함께 잰다. 다수 클래스 예측이나 평균 예측과 비교해야 수치의 의미가 생긴다.
  3. 주 지표 하나와 보조 지표를 둔다. 모델 선택 기준은 하나로 두고, 부작용은 다른 지표로 감시한다.
  4. 불확실성과 세그먼트를 본다. 평균이 좋아도 특정 집단에서 나쁠 수 있다.

관련 개념

  • F1-score: 정밀도와 재현율의 절충을 요약한다. Q-27에서 다룬다.
  • ROC curve: AUC의 바탕이 되는 곡선이다. Q-38에서 다룬다.
  • 자주 쓰는 정확도 지표: 분류 지표의 정의는 Q-41에서 더 자세히 다룬다.
  • 손실 함수: 학습 중 최적화하는 미분 가능한 함수이다. 정확도처럼 미분이 안 되는 지표를 직접 최적화하기 어려워 교차 엔트로피를 대리 손실(surrogate loss)로 쓴다.
  • 보정(calibration): 예측 확률이 실제 빈도와 맞는 정도이다. AUC는 순서만 보므로 확률이 어긋나도 값이 높을 수 있어 reliability diagram으로 따로 점검한다.

꼬리 질문

Q. 왜 손실과 평가 지표를 다르게 쓰나요? 정확도나 F1처럼 실제 관심 지표는 미분할 수 없거나 그래디언트가 대부분 0이다. 그래서 학습에는 교차 엔트로피 같은 미분 가능한 대리 손실을 쓰고, 평가와 모델 선택에는 관심 지표를 쓴다.

Q. ROC-AUC와 PR-AUC 중 불균형 데이터에는 어느 것이 낫나요? 양성 탐지가 목적이면 PR-AUC가 대개 더 많은 것을 보여 준다. FPR의 분모에 많은 TN이 들어가 ROC-AUC는 오경보가 늘어도 크게 움직이지 않을 수 있기 때문이다. 다만 PR-AUC는 양성 비율에 의존하므로 비율이 다른 데이터끼리 비교하면 안 된다.

Q. RMSE와 MAE를 최소화하면 예측이 어떻게 다른가요? 어떤 조건에서 상수 하나로 예측한다면 제곱 오차는 평균이, 절대 오차는 중앙값이 최적이다. 그래서 RMSE로 학습한 모델은 조건부 평균을, MAE로 학습한 모델은 조건부 중앙값을 근사하며, 분포가 치우치면 이 둘의 차이가 커진다.