3 Inseok Kong Schedule

Q-31. Model Accuracy와 Model Performance 중 어느 것이 더 중요한가요?

Accuracy는 성능을 재는 지표 중 하나이므로 양자택일이 아니며, 문제의 비용 구조와 운영 제약에 맞는 지표로 측정한 성능이 중요하다.

면접 답변

이 질문은 일부분 잘못된 선택지입니다. accuracy는 model performance를 재는 지표 중 하나이므로, 둘을 대등하게 놓고 고를 수 없기 때문입니다. 중요한 것은 문제의 목적과 오류 비용을 반영한 지표로 측정한 성능입니다. accuracy가 높다고 그 목적을 달성했다는 보장은 없습니다. 예를 들어 1,000건 중 양성이 10건인 데이터에서는 모두 음성으로 예측해도 accuracy가 99%이지만, 양성은 하나도 찾지 못합니다. 반면 양성을 놓치는 비용이 크다면 accuracy가 95.9%로 더 낮아도 양성 10건 중 9건을 찾는 모델이 더 좋을 수 있습니다. 만약 질문의 performance가 지연 시간이나 처리량 같은 계산 성능을 뜻한다면, 이는 예측 품질과 함께 맞춰야 하는 운영 제약입니다. 따라서 필요한 품질의 기준과 서비스 제약을 먼저 정하고 그 안에서 모델을 고릅니다.

자세한 설명

용어의 관계

Accuracy는 전체 예측 중 맞은 비율이다. TP, TN, FP, FN은 confusion matrix의 네 칸을 뜻한다.

\[\text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN}\]

Model performance는 더 넓은 말이다. 맥락에 따라 다음 두 가지 중 하나를 가리킨다.

  • 예측 성능: accuracy, precision, recall, F1, AUC, RMSE처럼 예측이 얼마나 좋은지를 나타낸다. accuracy는 여기에 포함된다.
  • 계산 성능: 지연 시간(latency), 처리량(throughput), 메모리, 비용처럼 얼마나 효율적으로 동작하는지를 나타낸다.

accuracy의 역설

양성 10건, 음성 990건인 가상의 평가 데이터에서 두 모델을 비교한다. 비용은 FN 1건에 100, FP 1건에 1로 가정한다.

  TP FN FP TN Accuracy Recall Precision F1 총 비용
모델 A: 전부 음성 0 10 0 990 99.0% 0% 정의 불가 0(관례) 1,000
모델 B 9 1 40 950 95.9% 90% 18.4% 0.305 140

accuracy로는 A가, 이 비용 구조로는 B가 더 좋다. 만약 FP가 훨씬 비싸다면 판단은 달라질 수 있다. 즉 지표가 모델의 순위를 결정하고, 그 지표는 문제의 비용 구조에서 나와야 한다.

accuracy가 적절한 경우

accuracy가 항상 나쁜 지표는 아니다. 클래스가 비교적 균형 있고 오류 비용이 비슷하면 간단하고 이해하기 쉬운 지표이다. 다만 불균형 데이터에서는 클래스별 지표와 함께 보고, 다수 클래스만 예측하는 기준 모델의 accuracy와 비교해야 해석이 된다.

실무에서의 평가 순서

  1. 목적을 정한다: 무엇을 개선하려는지, 어떤 오류의 비용이 큰지 정의한다.
  2. 지표를 정한다: 모델을 고르는 주 지표 하나와, 넘어야 하는 제약 지표를 나눈다. 예를 들면 “recall 90% 이상과 지연 시간 제한을 만족하는 모델 중 precision이 가장 높은 것”이다.
  3. 기준 모델과 비교한다: 다수 클래스 예측이나 단순 규칙보다 나은지 확인한다.
  4. 운영 환경에서 확인한다: 오프라인 지표가 좋아도 비즈니스 지표까지 좋아진다고 보장할 수 없으므로 A/B 테스트 등으로 확인한다.

관련 개념

  • Confusion matrix: accuracy가 가리는 오류의 종류를 드러낸다. Q-17에서 다룬다.
  • F1-score: 불균형 데이터에서 자주 함께 보는 지표이다. Q-27을 참고한다.
  • 지표 전반: 문제 유형별 지표는 Q-22와 Q-41에 정리한다.
  • 임계값 무관 평가: ROC 곡선과 AUC는 특정 임계값 없이 순서 성능을 평가한다. Q-38에서 다룬다.
  • A/B Test: 오프라인 성능이 실제 효과로 이어지는지 검증하는 방법이다. Q-19와 연결된다.

꼬리 질문

Q. 불균형 데이터에서는 어떤 지표를 쓰나요? 클래스별 precision과 recall, F1, PR-AUC를 자주 봅니다. 오류 비용을 추정할 수 있다면 기대 비용으로 직접 평가하는 방법이 더 좋습니다.

Q. 오프라인 지표가 올랐는데 실제 서비스 지표가 안 오르면 어떻게 하나요? 평가 데이터와 실제 트래픽의 차이, 데이터 누수, 지표와 비즈니스 목표의 불일치를 먼저 점검합니다. 지연 시간 증가 같은 부작용도 확인합니다.

Q. 정확도가 약간 낮아도 작은 모델을 선택할 수 있나요? 네. 지연 시간, 비용, 해석 가능성, 유지보수가 제약이라면 그 제약을 만족하는 모델 중에서 골라야 합니다. 정확도 차이가 평가의 불확실성 안에 있다면 단순한 모델을 택할 근거가 더 커집니다.