3 Inseok Kong Schedule

Q-50. Bias란 무엇인가요?

통계학에서 bias는 추정량의 기댓값과 참값의 차이이며, 머신러닝에서는 맥락에 따라 모델의 체계적 오차, 데이터 수집의 치우침, 귀납적 편향 등을 뜻하기도 한다.

면접 답변

통계에서 편향은 추정량의 기댓값과 참값의 차이입니다. 표본을 여러 번 뽑아 추정해도 평균적으로 참값에서 한쪽으로 벗어나는 체계적인 오차를 의미하며, 우연히 흔들리는 분산과는 다릅니다. 예를 들어 표본 분산을 N으로 나누면 평균적으로 참 분산보다 σ²/N만큼 작게 나오는데, 이것이 편향입니다. 다만 이 단어는 맥락에 따라 의미가 달라서, 모델이 너무 단순해서 생기는 오차, 데이터 수집의 치우침, 신경망의 절편 항을 뜻하기도 합니다. 그래서 면접에서는 어떤 의미의 편향인지 먼저 구분해서 답하는 것이 좋습니다.

자세한 설명

추정량의 편향

참값이 \(\theta\)인 파라미터의 추정량(estimator)을 \(\hat{\theta}\)라 하자. \(\hat{\theta}\)는 표본의 함수이므로 확률변수이다. 편향은 다음과 같다.

\[\text{Bias}(\hat{\theta}) = \mathbb{E}[\hat{\theta}] - \theta\]

\(\mathbb{E}\)는 표본을 추출하는 분포에 대한 기댓값이다. 이 값이 0이면 불편(unbiased) 추정량이다. 한 번의 추정값이 참값과 다르다는 것은 편향의 증거가 아니다. 편향은 추정 절차를 반복했을 때의 평균에 대한 성질이다.

  • 표본 평균: \(\mathbb{E}[\bar{X}] = \mu\)이므로 편향이 0이다.
  • \(N\)으로 나눈 분산: 편향이 \(-\sigma^2 / N\)이다. 이유는 Q-54에서 다룬다.
  • 학습 오차: 학습에 쓴 데이터로 잰 오차는 일반화 오차의 낙관적인 추정값이다. 그래서 별도의 테스트 셋을 쓴다.

같은 단어의 다른 의미

용어 의미 예
추정량의 편향 추정량 기댓값과 참값의 차이 \(N\)으로 나눈 분산
모델 편향 평균 예측과 참 함수의 차이 곡선에 직선 맞추기
표본 추출 편향(sampling bias) 데이터가 대상 모집단을 대표하지 못함 앱 사용자만 조사
귀납적 편향(inductive bias) 학습을 가능하게 하는 모델의 가정 CNN의 지역성과 이동 등변성
편향 항(bias term) 선형 결합의 절편 \(\mathbf{w}^\top \mathbf{x} + b\)의 \(b\)
공정성 편향 집단 간 부당한 결과 차이 특정 집단에 불리한 채용 모델

모델 편향은 실은 첫 번째 정의를 예측값에 적용한 것이다. 고정된 \(\mathbf{x}\)에서 예측값을 \(f(\mathbf{x})\)의 추정량으로 보면 된다. 이 내용은 Q-28에서 다룬다.

귀납적 편향은 다른 의미와 달리 나쁜 것이 아니다. 가정이 전혀 없으면 본 적 없는 데이터에 대해 일반화할 근거도 없기 때문이다.

데이터로 해결되는가

표본이 늘면 분산은 줄지만 편향이 저절로 줄지는 않는다. 추정 절차의 편향은 표본과 함께 사라지기도 하지만(\(-\sigma^2/N\)), 표본 추출 편향은 데이터를 아무리 모아도 그대로이며, 오히려 잘못된 값에 대한 확신만 커진다.

관련 개념

  • 불편 추정량: 편향이 0인 추정량이다. Q-51에서 다룬다.
  • MSE 분해: 추정 오차는 편향의 제곱과 분산으로 나뉜다. Q-52에서 다룬다.
  • 편향-분산 트레이드오프: 모델 복잡도와 함께 둘이 어떻게 움직이는지를 말한다. Q-28에서 다룬다.

꼬리 질문

Q. 편향은 항상 나쁜가요? 아닙니다. 약간의 편향을 허용해 분산을 크게 줄이면 전체 오차가 줄 수 있으며, 정규화가 대표적입니다. 자세한 내용은 Q-56에서 다룹니다.

Q. 참값을 모르는데 편향을 어떻게 알 수 있나요? 수학적으로 유도하거나, 참값을 정해 둔 시뮬레이션으로 확인합니다. 실제 데이터에서는 부트스트랩으로 추정할 수 있지만, 표본 추출 편향은 표본 안의 정보만으로 알기 어려워 수집 과정을 살펴야 합니다.