면접 답변
범주의 수와 데이터 분포에 따라 측정 방법을 고릅니다. 범주가 두 개면 점이연 상관계수(point-biserial correlation)를, 세 개 이상이면 ANOVA와 함께 에타 제곱(eta squared)을 주로 사용합니다. 명목형 범주에 임의의 번호를 붙여 피어슨 상관을 계산하면 번호를 붙이는 방식에 따라 값이 달라지기 때문에 이 방법은 쓰면 안 됩니다. 에타 제곱은 전체 분산 중 그룹 간 차이가 설명하는 비율이라서, 예를 들어 0.875이면 분산의 87.5%가 그룹으로 설명된다는 뜻입니다. 다만 에타 제곱은 방향이 없고, 평균 차이만 보며, 표본이 작으면 과대 추정되므로 평균 차이나 분포 그림과 함께 해석합니다. 이상치가 많거나 정규성이 의심되면 Kruskal-Wallis 같은 순위 기반 방법을, 비선형 의존성까지 보려면 상호 정보량을 고려합니다.
자세한 설명
피어슨 상관계수처럼 모든 경우에 통하는 단일 지표는 없다. 명목형 범주에는 순서가 없어 “함께 증가한다”는 말이 성립하지 않으므로, 대부분의 방법은 범주를 알면 연속형 변수의 값을 얼마나 더 잘 예측할 수 있는가를 측정한다.
| 상황 | 측정 방법 | 값의 범위 | 주요 한계 |
|---|---|---|---|
| 이진 범주 | 점이연 상관계수 \(r_{pb}\) | \([-1, 1]\) | 평균 차이만 보고 이상치에 민감. 부호는 0/1 코딩에 의존 |
| 연속 잠재 변수를 이분화한 이진 범주 | 이연 상관계수(biserial) | 추정값이 1을 넘을 수 있음 | 잠재 변수의 정규성 가정에 의존 |
| 3개 이상 범주 | 에타 제곱 \(\eta^2\) | \([0, 1]\) | 방향 없음, 작은 표본에서 과대 추정 |
| 분포 가정이 어려움 | Mann-Whitney U, Kruskal-Wallis와 그 효과 크기 | 지표별로 다름 | 순위 차이 위주로 측정 |
| 임의의 의존 관계 | 상호 정보량(mutual information) | \([0, \infty)\) | 해석 척도가 없고, 추정이 표본 수와 구간화에 민감 |
점이연 상관계수
이진 변수를 0과 1로 코딩하고 계산한 피어슨 상관계수와 같다. \(M_1\), \(M_0\)는 두 그룹의 평균, \(s\)는 전체 표본 표준편차(\(n-1\) 기준), \(n_1\), \(n_0\)은 그룹 크기, \(n = n_1 + n_0\)이다.
\[r_{pb} = \frac{M_1 - M_0}{s}\sqrt{\frac{n_1 n_0}{n(n-1)}}\]그룹 \((3, 4, 5)\)와 \((6, 7, 8)\)이면 \(r_{pb} \approx 0.878\)이다. 코딩을 뒤집으면 부호만 바뀐다. 이진 범주에서는 \(r_{pb}^2 = \eta^2\)가 성립하며, 이 예제에서 둘 다 약 0.771이다. 또한 유의성 검정은 등분산을 가정한 독립 표본 t 검정과 동치이다.
ANOVA와 에타 제곱
\(k\)개 그룹이 있을 때 전체 제곱합을 그룹 간 제곱합과 그룹 내 제곱합으로 나눈다. \(\bar{y}_g\)와 \(n_g\)는 그룹 \(g\)의 평균과 크기, \(\bar{y}\)는 전체 평균이다.
\[SS_T = \sum_i (y_i - \bar{y})^2, \quad SS_B = \sum_g n_g(\bar{y}_g - \bar{y})^2, \quad SS_W = SS_T - SS_B\] \[\eta^2 = \frac{SS_B}{SS_T}, \qquad F = \frac{SS_B/(k-1)}{SS_W/(n-k)}\]\(F\)는 평균 차이의 유의성을, \(\eta^2\)은 효과의 크기를 말해 준다. 표본이 크면 작은 효과도 유의해지므로 둘은 구별해야 한다. \(\sqrt{\eta^2}\)을 상관비(correlation ratio)라고 한다.
예제. A \(= (2, 3, 4)\), B \(= (7, 8, 9)\), C \(= (3, 4, 5)\)이면 그룹 평균은 3, 8, 4이고 전체 평균은 5이다.
\[SS_B = 3(3-5)^2 + 3(8-5)^2 + 3(4-5)^2 = 42, \quad SS_T = 48, \quad \eta^2 = 0.875, \quad F = \frac{42/2}{6/6} = 21\]라벨 인코딩이 안 되는 이유. 같은 데이터에 A=0, B=1, C=2를 붙여 피어슨 상관을 구하면 \(r \approx 0.177\)인데, A=0, C=1, B=2를 붙이면 \(r \approx 0.884\)이다. 데이터는 그대로인데 임의의 번호만으로 값이 크게 변한다. 반면 \(\eta^2\)은 라벨에 의존하지 않는다.
한계
- 방향이 없다. \(\eta^2\)은 어떤 그룹이 높은지 알려 주지 않으므로 그룹 평균이나 상자 그림(box plot)을 함께 봐야 한다.
- 평균 차이만 본다. A \(= (4, 5, 6)\), B \(= (1, 5, 9)\)는 산포가 분명히 다른데 평균이 같아 \(\eta^2 = 0\)이다.
- 과대 추정된다. 작은 표본이나 범주가 많은 경우 우연한 평균 차이까지 \(SS_B\)에 들어가 \(\eta^2\)이 커진다. 범주가 샘플 수만큼 많으면 \(\eta^2 = 1\)이 되어 버린다. 편향을 줄이려면 오메가 제곱(\(\omega^2\))을 쓴다. 위 예제에서 \(\omega^2 \approx 0.816\)이다.
- 가정이 있다. ANOVA의 유의성 검정은 독립성, 정규성, 등분산을 가정한다. \(\eta^2\) 자체는 계산되지만 이상치에 민감하다.
- 인과가 아니다. 다른 상관 지표와 마찬가지로 관계의 존재만 말해 준다.
관련 개념
- 피어슨 상관계수: 두 연속형 변수의 선형 관계를 측정한다. Q-35에서 다룬다.
- Kruskal-Wallis 검정: 값을 순위로 바꾸어 수행하는 일원 ANOVA의 비모수 대응 방법이다. 효과 크기는 엡실론 제곱(\(\epsilon^2\)) 등으로 나타낸다.
- 순위 이연 상관(rank-biserial correlation): 이진 범주의 비모수 효과 크기이다. Mann-Whitney U 통계량에서 바로 계산되며, 한 그룹의 값이 다른 그룹보다 클 확률인 AUC와 \(r = 2\,\text{AUC} - 1\)의 관계가 있다.
- 상호 정보량: 분포 형태의 차이까지 포착하는 대신 값의 해석이 덜 직관적이다. 특성 선택에 자주 쓴다.
- 순서형 범주: 등급처럼 순서가 있으면 스피어만 상관계수를 쓸 수 있고, 연속 잠재 변수를 가정하면 다분 상관(polyserial correlation)을 쓸 수 있다.
꼬리 질문
Q. 특성 선택에서 이런 측정을 그대로 쓰면 어떤 문제가 있나요? 특성 하나와 타깃의 관계만 보므로 특성 간 상호작용을 놓칩니다. 또한 ID 같은 고카디널리티 범주는 \(\eta^2\)이 과대 추정되기 쉬우므로 교차 검증으로 확인해야 합니다.
Q. 원-핫 인코딩한 뒤 각 열과 상관을 계산해도 되나요? 가능하며 각 값은 그 범주 대 나머지의 점이연 상관계수입니다. 어떤 범주가 차이를 만드는지 볼 수 있지만, 변수 전체의 요약값은 되지 않습니다.
Q. ANOVA에서 유의한 결과가 나오면 무엇을 더 해야 하나요? ANOVA는 어떤 평균이 다른지 알려 주지 않으므로 Tukey HSD 같은 사후 검정(post-hoc test)으로 그룹 쌍을 비교하고 효과 크기를 함께 보고합니다.