면접 답변
A/B 테스트는 사용자를 무작위로 기존안 A와 변경안 B에 나누어 같은 기간 동안 지표를 비교하는 온라인 통제 실험입니다. 무작위 배정이 핵심인데, 다른 조건이 평균적으로 같아지므로 지표 차이를 변경의 인과 효과로 해석할 수 있기 때문입니다. 머신러닝에서는 오프라인 지표가 좋아진 새 모델이 실제 클릭이나 매출도 개선하는지 확인할 때 씁니다. 진행 순서는 지표와 최소 효과 크기를 정하고, 필요한 표본 수를 계산하고, 정해 둔 기간 동안 실험한 뒤 가설 검정과 신뢰구간으로 판단하는 것입니다. 예를 들어 각 1만 명에서 전환율이 10%와 10.8%로 나와도 p값이 약 0.064이므로 유의수준 5%에서는 차이가 있다고 결론 내리지 않습니다. 또 중간 결과를 계속 들여다보다 유의해지는 순간 멈추면 거짓 양성이 크게 늘어나므로 주의해야 합니다.
자세한 설명
왜 무작위 실험인가
새 모델을 먼저 쓴 사용자와 그렇지 않은 사용자를 그냥 비교하면 사용자 성향 같은 교란 변수(confounder)가 섞인다. 출시 전후 비교도 계절이나 이벤트의 영향을 받는다. 무작위 배정은 관측하지 못한 요인까지 두 집단에 평균적으로 고르게 나누므로 인과 효과를 추정할 수 있게 해 준다.
설계 순서
- 가설과 지표: 무엇이 왜 나아질지 정한다. 주 지표와 함께 지연 시간, 이탈률 같은 가드레일 지표(guardrail metric)도 정한다.
- 실험 단위: 사용자, 세션 등 무작위화 단위를 정한다. 보통 같은 사용자는 계속 같은 군에 남도록 사용자 ID의 해시로 배정한다.
- 표본 크기와 기간: 유의수준, 검정력, 최소 효과 크기(MDE)로 계산한다. 요일 효과가 있으면 온전한 주 단위로 돌린다.
- 실행과 건전성 점검: 배정 비율이 설계대로인지 확인한다.
- 분석과 판단: p값과 함께 신뢰구간을 보고, 효과가 실무적으로 의미 있는 크기인지도 판단한다.
전환율 검정의 계산
전환 비율을 비교할 때 표본이 충분히 크면 two-proportion z-test를 쓸 수 있다. \(n_A, n_B\)를 각 군의 사용자 수, \(\hat{p}_A, \hat{p}_B\)를 관측 전환율, \(\hat{p}\)를 두 군을 합친 전환율이라 하면 다음과 같다.
\[z = \frac{\hat{p}_B - \hat{p}_A}{\sqrt{\hat{p}(1 - \hat{p}) \left( \frac{1}{n_A} + \frac{1}{n_B} \right)}}\]가상의 예로 각 군 10,000명에서 A가 1,000명, B가 1,080명 전환했다고 하자.
- 합친 전환율은 \(\hat{p} = 0.104\)이고 표준오차는 약 0.00432이다.
- \(z \approx 1.85\)이고 양측 p값은 약 0.064이다.
- 차이 0.8%p의 95% 신뢰구간은 약 \([-0.05\%p, 1.65\%p]\)이다.
0을 포함하므로 유의수준 5%에서 귀무가설을 기각하지 못한다. 이는 효과가 없다는 증명이 아니라, 이 표본으로는 판단하기에 증거가 부족하다는 뜻이다.
표본 크기
유의수준 \(\alpha\), 검정력 \(1 - \beta\)에서 전환율 차이 \(\delta\)를 검출하는 데 필요한 군별 표본 수의 근사식은 다음과 같다.
\[n \approx \frac{(z_{1 - \alpha/2} + z_{1 - \beta})^2 \left( p_A(1 - p_A) + p_B(1 - p_B) \right)}{\delta^2}\]\(z_q\)는 표준 정규 분포의 \(q\) 분위수이다. \(\alpha = 0.05\), 검정력 0.8, \(p_A = 0.10\), \(p_B = 0.108\)이면 \(n \approx 22{,}900\)명이 군마다 필요하다. 위 예제의 1만 명은 이 효과를 잡기에 부족한 규모였다. 분모가 \(\delta^2\)이므로 효과 크기가 절반이 되면 표본은 약 4배가 필요하다.
중간 확인의 위험
중간 확인(peeking)의 영향을 보기 위해, 양측 \(\lvert z \rvert > 1.96\)이면 유의하다고 보는 규칙으로 효과가 없는 A/A 실험을 시뮬레이션했다. 전환율 10%, 군별 10,000명, 실험 20,000회의 결과이다.
| 판단 방식 | 거짓 양성률 |
|---|---|
| 마지막에 한 번만 검정 | 5.0% |
| 1,000명마다 총 10번 확인해 한 번이라도 유의하면 중단 | 19.3% |
그 밖의 함정
- 다중 비교: 지표나 세그먼트를 많이 볼수록 우연히 유의한 결과가 나온다. 주 지표를 미리 정하고 필요하면 다중 비교 보정을 한다.
- 표본 비율 불일치(sample ratio mismatch, SRM): 50:50으로 설계했는데 실제 비율이 통계적으로 어긋나면 배정이나 로깅의 문제일 수 있어 결과를 믿기 어렵다.
- 간섭(interference): 소셜 네트워크나 양면 시장에서는 한 사용자의 처치가 다른 사용자에게 영향을 줄 수 있다. 이때는 지역이나 클러스터 단위 실험을 고려한다.
- 단기 효과: 새로움 효과(novelty effect)로 초기 수치가 부풀 수 있으므로 기간이나 장기 지표를 함께 확인한다.
관련 개념
- 가설 검정(hypothesis testing): 귀무가설 아래에서 관측 결과의 극단성을 따지는 틀이다. p값은 귀무가설이 참일 확률이 아니라, 귀무가설이 참일 때 이만큼 극단적인 결과가 나올 확률이다.
- 1종 오류와 2종 오류: 효과가 없는데 있다고 하는 것과 있는데 놓치는 것이다. 유의수준과 검정력이 각각을 통제하며, confusion matrix의 FP, FN과 같은 구조이다.
- 오프라인 평가: 저장된 데이터의 지표로 모델을 비교하는 것이다. 빠르고 위험이 적지만 사용자 행동 변화까지 반영하지 못하므로 A/B 테스트가 보완한다.
- 멀티암드 밴딧(multi-armed bandit): 실험 중 더 좋은 쪽에 트래픽을 더 배정하는 방식이다. 실험 비용을 줄일 수 있지만 효과의 추정과 검정은 더 까다로워진다.
꼬리 질문
Q. 오프라인 지표는 좋아졌는데 A/B 테스트 결과가 나쁘면 왜 그럴까요? 오프라인 지표가 비즈니스 지표를 잘 대변하지 못하거나, 과거 데이터에 기존 모델의 노출 편향이 있거나, 서빙 지연처럼 오프라인에서 안 보이는 비용이 있을 수 있다. 학습과 서빙의 데이터 차이도 흔한 원인이다.
Q. 결과가 유의하면 바로 배포해도 되나요? 아니다. 효과 크기가 비용 대비 충분한지, 가드레일 지표가 나빠지지 않았는지, SRM 같은 데이터 문제가 없는지 확인해야 한다. 표본이 매우 크면 무의미할 만큼 작은 차이도 유의하게 나온다.
Q. 실험 중간에 꼭 결과를 봐야 한다면 어떻게 하나요? 중간 분석을 미리 계획한 순차 검정(sequential testing)을 쓰면 여러 번 확인해도 거짓 양성률을 통제할 수 있다. 다만 치명적인 문제를 감지하기 위한 모니터링은 효과 판단과 분리해 계속해야 한다.
Q. A/B 테스트를 할 수 없는 경우에는 어떻게 하나요? 무작위화가 불가능하거나 비윤리적이면 이중차분법(difference-in-differences) 같은 관찰 연구 방법을 쓴다. 이때는 무작위 실험보다 강한 가정이 필요하므로 결론의 강도도 약해진다.