3 Inseok Kong Schedule

Q-82. Cross-Entropy란 무엇인가?

교차 엔트로피는 분포 p에서 나온 사건을 분포 q에 맞춘 부호로 표현할 때의 평균 정보량으로, p의 엔트로피와 KL divergence의 합이다.

면접 답변

교차 엔트로피는 실제 분포 p에서 나오는 사건을 분포 q 기준의 정보량으로 쟀을 때의 기댓값입니다. 정보 이론적으로는 p의 데이터를 q에 최적화된 부호로 표현할 때의 평균 부호 길이이므로, q가 p와 다르면 p의 엔트로피보다 길어집니다. 그 초과분이 KL divergence라서 교차 엔트로피는 p의 엔트로피와 KL의 합이 됩니다. 예를 들어 p가 (0.7, 0.2, 0.1), q가 (0.5, 0.3, 0.2)이면 교차 엔트로피는 약 1.280비트, p의 엔트로피는 약 1.157비트이고, 차이 0.123비트가 KL입니다. 학습에서는 p가 데이터로 고정되므로, q에 대해 교차 엔트로피를 최소화하는 것은 KL을 최소화하는 것과 같습니다. 그래서 분류의 손실 함수로 널리 쓰입니다.

자세한 설명

정의

같은 사건 공간의 분포 \(p\), \(q\)에 대해 다음과 같이 정의한다.

\[H(p, q) = -\sum_x p(x) \log q(x) = \mathbb{E}_{x \sim p}\left[-\log q(x)\right]\]

엔트로피 \(H(p)\)와 KL divergence로 분해된다.

\[H(p, q) = H(p) + D_{\text{KL}}(p \Vert q)\]

수치 예

\(p = (0.7, 0.2, 0.1)\), \(q = (0.5, 0.3, 0.2)\)이면 다음과 같다(밑 2).

양 값 (비트)
\(H(p, q) = -0.7\log_2 0.5 - 0.2\log_2 0.3 - 0.1\log_2 0.2\) 1.280
\(H(p)\) 1.157
\(D_{\text{KL}}(p \Vert q)\) 0.123

성질

  • 하한: \(H(p, q) \ge H(p)\)이고 등호는 \(q = p\)일 때 성립한다. 그래서 \(p\)가 소프트 레이블이면 최적 \(q\)에서도 손실이 0이 아니라 \(H(p)\)이다.
  • 비대칭: 일반적으로 \(H(p, q) \ne H(q, p)\)이다. 어느 쪽이 실제 분포인지 구분해야 한다.
  • 원-핫(one-hot) 레이블: \(p\)가 원-핫이면 \(H(p) = 0\)이므로 교차 엔트로피와 KL이 같고, 값은 정답 클래스의 \(-\log q\)이다. 정답 클래스 확률이 0.7이면 \(-\ln 0.7 \approx 0.357\), 0.5이면 \(-\ln 0.5 \approx 0.693\)내트이다.
  • \(q\)가 0일 때: \(p(x) > 0\)인데 \(q(x) = 0\)이면 무한대이다. 수치 구현에서 확률 대신 로짓을 쓰는 이유 중 하나이다.

경험적 분포와 최대우도

데이터 \(x_1, \dots, x_n\)의 경험적 분포를 \(\hat{p}\)라 하면 교차 엔트로피는 평균 음의 로그 우도가 된다.

\[H(\hat{p}, q_\theta) = -\frac{1}{n} \sum_{i=1}^{n} \log q_\theta(x_i)\]

따라서 데이터에 대한 교차 엔트로피 최소화, 음의 로그 우도 최소화, KL 최소화는 같은 최적화이다. 이 관점을 분류기의 손실 함수로 구체화한 내용은 Q-83에서 다룬다.

언어 모델 평가

언어 모델의 토큰당 평균 음의 로그 우도도 교차 엔트로피이다. 널리 쓰는 perplexity는 그 지수 값으로, 내트 단위 교차 엔트로피가 \(H\)이면 \(e^H\)이다. 평균적으로 몇 개의 후보 중 하나를 고르는 어려움인지로 해석할 수 있다.

관련 개념

  • 엔트로피: \(q = p\)일 때의 교차 엔트로피이다. Q-79를 참고한다.
  • KL divergence: 교차 엔트로피에서 엔트로피를 뺀 값이다. Q-80에서 다룬다.
  • 교차 엔트로피 손실: 분류에서의 구체적인 형태와 기울기는 Q-83에서 다룬다.
  • 우도: 음의 로그 우도와 같은 최적화이다. Q-39를 참고한다.

꼬리 질문

Q. KL 대신 교차 엔트로피를 최소화하는 이유는 무엇인가요? \(p\)가 고정이면 둘의 기울기가 같으므로 최적화 결과가 같고, 교차 엔트로피는 \(H(p)\)를 계산하지 않아도 되어 더 간단합니다.

Q. 교차 엔트로피 값 하나만으로 모델이 좋은지 판단할 수 있나요? 기준이 필요합니다. 클래스 수나 레이블의 엔트로피에 따라 달라지므로, 균등 예측의 \(\log K\)나 클래스 비율만 쓰는 예측의 값과 비교합니다.

Q. 소프트 레이블의 손실이 0이 안 되는 것은 문제인가요? 아닙니다. 최소값이 \(H(p)\)일 뿐이고 기울기는 \(q = p\)에서 0이 됩니다. 값을 0에 맞춰 보고 싶다면 KL을 기록하면 됩니다.