- 질문 출처: Science Vibe, 머신러닝 면접 질문 모음
면접 답변
중심극한정리는 모집단 분포를 몰라도 평균이나 합의 불확실성을 정규 분포로 계산하고 싶을 때 씁니다. 대표적인 곳이 신뢰구간과 가설 검정이고, A/B 테스트의 전환율 비교도 여기에 해당합니다. 전환 여부 하나하나는 0 또는 1이어서 정규 분포와 전혀 다르지만, 수천 명의 평균은 근사적으로 정규 분포를 따르므로 z 검정을 쓸 수 있습니다. 머신러닝에서는 테스트 정확도의 오차 범위를 내거나 몬테카를로 추정의 오차를 가늠할 때 활용합니다. 다만 꼬리가 아주 두껍거나 표본이 서로 의존하면 근사가 나빠질 수 있으므로, 그런 경우에는 조건을 먼저 확인하고 필요하면 부트스트랩 같은 대안을 함께 씁니다.
자세한 설명
정리 자체는 Q-44에서 다뤘다. 활용의 공통 구조는 하나이다. 관심 있는 통계량이 평균이나 합의 형태이면, 다음 근사를 쓸 수 있다.
\[\bar{X}_n \approx \mathcal{N}\left(\mu, \frac{\sigma^2}{n}\right)\]\(\sigma\)를 모르면 표본 표준편차로 대체한다.
신뢰구간
크기 \(n = 100\)인 표본에서 평균 52, 표본 표준편차 10을 얻었다고 하자. 표준오차는 \(10/\sqrt{100} = 1\)이므로 95% 신뢰구간은 약 \(52 \pm 1.96\), 즉 \([50.04, 53.96]\)이다. 해석은 Q-63에서 다룬다.
분류기 테스트 정확도도 같다. 샘플별 정답 여부는 베르누이 변수이고 정확도는 그 평균이다. 테스트 샘플 10,000개에서 정확도가 0.90이면 표준오차는 \(\sqrt{0.9 \times 0.1 / 10000} = 0.003\)이므로, 95% 구간의 폭은 대략 \(\pm 0.6\%\)p이다. 그보다 작은 차이는 이 표본으로 판단하기 어렵다.
가설 검정과 A/B 테스트
Q-19의 예에서는 각 1만 명의 전환율이 10%와 10.8%였다. 중심극한정리 덕분에 전환율 차이를 정규 분포로 근사하며, 표준오차 약 0.00432로 나눈 z 값 약 1.85로부터 p값 약 0.064를 얻는다.
분포의 정규 근사
이항 분포는 베르누이 변수의 합이다. \(X \sim \text{Binomial}(100, 0.5)\)일 때 \(P(X \ge 60)\)의 정확한 값은 약 0.0284이고, 연속성 보정을 한 정규 근사는 약 0.0287이다. 포아송 분포도 \(\lambda\)가 크면 비슷하게 근사할 수 있다.
머신러닝과 계산
- 몬테카를로 추정: 기댓값을 표본 평균으로 추정할 때 오차가 \(O(1/\sqrt{n})\)이므로, 오차를 반으로 줄이려면 표본이 4배 필요하다. 표준오차를 함께 보고하면 오차 범위도 알 수 있다.
- 회귀 계수의 추론: 최소제곱 계수는 오차항의 가중합으로 쓸 수 있어, 조건이 맞으면 오차가 정규 분포가 아니어도 근사적으로 정규 분포를 따른다. 계수의 신뢰구간이 여기서 나온다.
- 미니배치 기울기: 독립 추출을 가정하면 기울기 추정의 표준편차는 \(1/\sqrt{B}\)로 줄어든다. 이 크기 자체는 독립성만으로 나오는 결과이고, 중심극한정리는 여기에 노이즈가 근사적으로 정규 분포라는 모양을 더한다. 다만 실제 SGD 노이즈의 모양은 논쟁이 있어 단정할 수 없다.
쓰면 안 되는 경우
| 상황 | 문제 | 대안 |
|---|---|---|
| 꼬리가 두꺼운 지표(매출 등) | 수렴이 느림 | 더 큰 표본, 로그 변환, 부트스트랩 |
| 의존하는 데이터(시계열, 같은 사용자의 반복 관측) | 표준오차 과소 추정 | 블록 부트스트랩, 사용자 단위 집계 |
| 최댓값, 극단 분위수 | 평균 형태의 통계량이 아님 | 극값 이론 |
| 작은 표본, \(\sigma\) 미지 | 정규 근사가 낙관적 | t 분포 |
관련 개념
- 표준오차: 활용의 핵심 값이다. 표본 분산은 Q-53에서 다룬다.
- p값: 정규 근사로 계산하는 경우가 많다. Q-69에서 다룬다.
- 부트스트랩(bootstrap): 정규 근사 대신 재표집으로 통계량의 분포를 추정한다. Q-103에서 다룬다.
꼬리 질문
Q. 정확도 차이가 0.2%p인 두 모델을 테스트 샘플 10,000개로 비교할 수 있나요? 각 정확도가 0.90 부근이면 단일 추정의 표준오차만 약 0.3%p이므로 단순 비교로는 어렵습니다. 같은 샘플로 평가했다면 맥네마(McNemar) 검정처럼 짝지은 차이를 보는 방법이 더 강력합니다.
Q. 평균이 아니라 중앙값에도 쓸 수 있나요? 직접 적용은 아니지만 중앙값도 조건이 맞으면 점근적으로 정규 분포를 따릅니다. 다만 분산 공식이 달라서 실무에서는 부트스트랩을 자주 씁니다.