3 Inseok Kong Schedule

Q-38. ROC curve를 정의해 주세요

ROC curve는 분류 임계값을 바꿔 가며 FPR을 가로축, TPR을 세로축으로 그린 곡선이고, 그 아래 면적 AUC는 모델의 순위 성능을 요약한다.

면접 답변

ROC 곡선은 이진 분류기의 임계값을 바꿔 가면서 위양성률(FPR)을 가로축, 진양성률(TPR)을 세로축으로 그린 곡선입니다. 분류 성능은 임계값에 따라 달라지므로, 특정 임계값 하나에 묶이지 않고 모델이 양성과 음성을 얼마나 잘 분리하는지 보기 위해 사용합니다. 왼쪽 위 모서리에 가까울수록 좋고, 대각선은 무작위 분류기에 해당합니다. 곡선 아래 면적인 AUC는 임의의 양성 샘플이 임의의 음성 샘플보다 높은 점수를 받을 확률로 해석되며, 예를 들어 AUC 0.81이면 약 81%의 쌍에서 순위가 맞다는 뜻입니다. 다만 양성이 매우 드문 문제에서는 AUC가 높아도 정밀도가 낮을 수 있어서, 이럴 때는 PR 곡선을 함께 봅니다.

자세한 설명

정의

모델이 샘플마다 점수 \(s\)를 내고 \(s \ge t\)이면 양성으로 예측한다고 하자. 임계값 \(t\)마다 다음 두 값이 정해지고, 이를 점 \((\text{FPR}(t), \text{TPR}(t))\)로 찍어 이은 것이 ROC(receiver operating characteristic) 곡선이다.

\[\text{TPR} = \frac{TP}{TP + FN}, \qquad \text{FPR} = \frac{FP}{FP + TN}\]

\(t\)를 \(+\infty\)에서 낮추면 모두 음성인 \((0, 0)\)에서 출발해 모두 양성인 \((1, 1)\)에 도착한다. 두 비율 모두 감소하지 않으므로 곡선은 단조 증가한다.

Score distributions of two classes with a threshold, and ROC curves for three levels of class separation 왼쪽: 임계값 0.75에서 양성 분포의 오른쪽 면적이 TPR(약 0.77), 음성 분포의 오른쪽 면적이 FPR(약 0.23)이다. 오른쪽: 분산 1인 두 정규 분포의 평균 차 \(d\)를 바꾸어 클래스당 2,000개씩 시뮬레이션한 ROC 곡선. 분리가 좋을수록 왼쪽 위로 붙는다.

손으로 그려 보기

양성 4개, 음성 4개의 점수가 다음과 같다고 하자. 점수 내림차순으로 임계값을 내리며 양성을 만나면 위로 \(1/4\), 음성을 만나면 오른쪽으로 \(1/4\) 이동한다.

점수 0.9 0.8 0.7 0.6 0.55 0.4 0.3 0.2
정답 + + − + − + − −
FPR 0 0 0.25 0.25 0.5 0.5 0.75 1
TPR 0.25 0.5 0.5 0.75 0.75 1 1 1

사다리꼴 면적을 합하면 \(\text{AUC} = 0.8125\)이다.

AUC의 의미

AUC(area under the curve)는 다음과 같다. \(s^+\), \(s^-\)는 각각 무작위로 뽑은 양성, 음성 샘플의 점수이다.

\[\text{AUC} = P(s^+ > s^-) + \tfrac{1}{2}P(s^+ = s^-)\]

위 예제에서 양성-음성 16쌍 중 양성의 점수가 더 높은 쌍을 세면 점수 0.9가 4쌍, 0.8이 4쌍, 0.6이 3쌍, 0.4가 2쌍으로 13쌍이다. \(13/16 = 0.8125\)로 면적과 일치한다.

  • AUC 1은 완벽한 순위, 0.5는 무작위 순위를 뜻한다. 0.5 미만이면 점수의 방향이 뒤집혀 있다는 뜻이다.
  • 순위만 보므로 점수에 단조 변환을 적용해도 AUC는 그대로이다. 그래서 확률값이 잘 보정되었는지는 알려 주지 않는다.
  • AUC는 임계값을 고르는 도구가 아니다. 운영할 임계값은 FP와 FN의 비용을 보고 따로 정해야 한다.

클래스 불균형

TPR과 FPR은 각 클래스 안에서 계산하므로, 클래스별 점수 분포가 유지되면 양성 비율이 변해도 ROC 곡선은 변하지 않는다. 비교에는 장점이지만, 양성이 드물 때는 실제 사용 경험을 가릴 수 있다. 양성 100개, 음성 1,000,000개에서 TPR 0.9, FPR 0.01이면 ROC 상으로는 좋은 점이다. 그런데 \(TP = 90\), \(FP = 10{,}000\)이므로 정밀도는 \(90/10{,}090 \approx 0.9\%\)에 불과하다.

관련 개념

  • TPR과 Recall: ROC의 세로축인 TPR은 Recall과 같다. Q-36에서 다룬다.
  • 혼동 행렬: 임계값 하나마다 혼동 행렬 하나가 정해지고, 그것이 ROC 위의 점 하나가 된다. Q-17을 참고한다.
  • PR 곡선(precision-recall curve): 가로축 Recall, 세로축 Precision으로 그린다. 정밀도가 양성 비율에 의존하므로 희귀 양성 문제에서 차이가 잘 드러난다.
  • 다른 평가 지표: 하나의 임계값에서 계산하는 지표들은 Q-41에서 정리한다.

꼬리 질문

Q. ROC 곡선에서 임계값은 어떻게 고르나요? FP와 FN의 비용을 반영해 기대 비용이 최소인 점을 고릅니다. 비용 정보가 없으면 \(\text{TPR} - \text{FPR}\)을 최대화하는 Youden’s J를 쓰기도 합니다.

Q. 다중 클래스에서는 ROC를 어떻게 쓰나요? 클래스별로 일대다(one-vs-rest) 곡선을 그린 뒤 AUC를 macro 또는 micro 방식으로 평균합니다.

Q. AUC가 0.3이 나오면 어떻게 해석하나요? 순위가 대체로 반대라는 뜻입니다. 점수나 레이블의 부호가 뒤집혔는지 먼저 확인합니다. 점수를 뒤집으면 AUC는 0.7이 됩니다.