- 질문 출처: Science Vibe, 머신러닝 면접 질문 모음
면접 답변
상호 정보는 한 변수를 관측했을 때 다른 변수의 불확실성이 얼마나 줄어드는지를 나타내는 값입니다. 수식으로는 X의 엔트로피에서 Y를 안 뒤의 X의 조건부 엔트로피를 뺀 것이고, 결합 분포와 주변 분포의 곱 사이의 KL divergence와 같습니다. 그래서 항상 0 이상이고 0이면 두 변수가 독립입니다. 상관 계수와 달리 선형 관계에 한정되지 않는 점이 장점입니다. 예를 들어 X가 -1, 0, 1 중 하나로 균등하고 Y가 X의 제곱이면 상관 계수는 0이지만 상호 정보는 약 0.92비트입니다. 머신러닝에서는 특징 선택, 의사결정나무의 정보 이득, 대조 학습 등에 쓰입니다. 다만 고차원 연속 변수에서는 추정이 어렵습니다.
자세한 설명
정의
두 이산 변수의 결합 분포를 \(p(x, y)\), 주변 분포를 \(p(x)\), \(p(y)\)라 한다.
\[I(X; Y) = \sum_{x, y} p(x, y) \log \frac{p(x, y)}{p(x)\, p(y)} = D_{\text{KL}}\left(p(x, y) \Vert p(x)p(y)\right)\]독립이면 \(p(x, y) = p(x)p(y)\)이므로 0이고, 그 역도 성립한다. 엔트로피로 쓰면 다음과 같다.
\[I(X; Y) = H(X) - H(X \mid Y) = H(Y) - H(Y \mid X) = H(X) + H(Y) - H(X, Y)\]\(H(X \mid Y)\)는 \(Y\)를 안 뒤에 남은 \(X\)의 불확실성이다. 정의에서 \(I(X; Y) = I(Y; X)\)로 대칭이고, \(I(X; X) = H(X)\)이다.
계산 예
결합 분포가 다음과 같다고 하자.
| \(Y = 0\) | \(Y = 1\) | |
|---|---|---|
| \(X = 0\) | 0.4 | 0.1 |
| \(X = 1\) | 0.1 | 0.4 |
\(H(X) = 1\)비트이고, \(X\)를 알면 \(Y\)가 0.8의 확률로 같으므로 \(H(Y \mid X) = H(0.2) \approx 0.722\)비트이다. 대칭이므로 \(I(X; Y) = H(Y) - H(Y \mid X) \approx 1 - 0.722 = 0.278\)비트이다.
상관 계수와의 비교
\(X\)가 \(\{-1, 0, 1\}\)에 균등하고 \(Y = X^2\)이면 \(\text{Cov}(X, Y) = \mathbb{E}[X^3] - \mathbb{E}[X]\mathbb{E}[X^2] = 0\)이다. 그러나 \(Y\)는 \(X\)로 완전히 정해지므로 \(H(Y \mid X) = 0\)이고, \(P(Y = 1) = 2/3\)에서 \(I(X; Y) = H(Y) \approx 0.918\)비트이다.
| 기준 | 피어슨 상관 계수 | 상호 정보 |
|---|---|---|
| 잡아내는 관계 | 선형 | 임의의 통계적 의존성 |
| 값의 범위 | \(-1\)에서 \(1\) | 0 이상, 단위는 비트 또는 내트 |
| 방향(부호) | 있음 | 없음 |
| 범주형 변수 | 그대로는 부적합 | 자연스럽게 적용 |
| 추정 | 쉬움 | 연속, 고차원에서 어려움 |
머신러닝에서의 쓰임
- 특징 선택: 레이블과의 \(I(X_j; Y)\)가 큰 특징을 고른다. 특징별로 따로 재면 특징 간의 중복이나 상호작용은 보지 못한다.
- 의사결정나무: 정보 이득은 분할 변수와 레이블의 상호 정보와 같다. Q-79의 예시도 위 표와 같은 값이다.
- 군집 평가: 군집 결과와 정답 레이블의 일치도를 정규화된 상호 정보로 잰다.
- 대조 학습(contrastive learning): InfoNCE 손실을 최소화하면 두 시점 표현 간 상호 정보의 하한이 높아진다. 이 하한은 배치 크기의 로그를 넘을 수 없으며, 표현의 품질이 상호 정보만으로 설명되는지는 논의가 남아 있다.
연속 변수에서는 분포를 모르기 때문에 추정 자체가 어려운 과제이다. 구간화는 구간의 수에 민감하고, 차원이 높아지면 표본이 부족해진다. KNN 기반 추정이나 신경망 기반 변분 하한을 쓰지만 큰 값을 정확히 추정하기는 어렵다.
관련 개념
- 엔트로피: 상호 정보를 구성하는 기본 단위이다. Q-79를 참고한다.
- KL divergence: 상호 정보의 정의 자체이다. Q-80에서 다룬다.
- 공분산과 상관 계수: 선형 의존성만 잰다. Q-35를 참고한다.
- ICA: 성분 간 상호 정보를 줄이는 방향으로 해석할 수 있다. Machine Learning 15에서 이어진다.
꼬리 질문
Q. 상호 정보가 0이면 독립인가요? 네. 상관 계수 0은 독립을 보장하지 않지만, 상호 정보 0은 결합 분포와 주변 분포의 곱이 같다는 뜻이므로 독립과 동치입니다.
Q. 값의 크기를 변수끼리 어떻게 비교하나요? 최대값이 각 변수의 엔트로피에 의존하므로, 범주가 많은 변수일수록 커 보일 수 있습니다. 그래서 엔트로피로 나눈 정규화 상호 정보나 이득 비율을 씁니다.
Q. 표본 상호 정보를 그대로 믿어도 되나요? 유한 표본의 단순 추정은 위로 편향되는 경향이 있어, 독립인 변수에서도 양수로 나옵니다. 레이블을 섞어 기준값을 비교하는 순열 검정이 도움이 됩니다.