3 Inseok Kong Schedule

Q-47. 확률이랑 통계랑 다른 점은 무엇인가요?

확률은 주어진 모델에서 어떤 데이터가 나올지를 계산하고, 통계는 관측한 데이터로부터 모델이나 그 파라미터를 추론하므로 방향이 서로 반대이다.

면접 답변

확률과 통계의 핵심 차이는 추론의 방향입니다. 확률은 모델을 알고 있을 때 어떤 데이터가 나올지를 계산하고, 통계는 데이터를 보고 그것을 만들어 낸 모델이나 파라미터를 추정합니다. 예를 들어 공정한 동전을 10번 던져 앞면이 7번 나올 확률을 구하는 것은 확률 문제이고, 10번 중 7번 앞면이 나온 것을 보고 이 동전이 공정한지 판단하는 것은 통계 문제입니다. 확률 쪽의 답은 가정이 맞으면 하나로 정해지지만, 통계 쪽의 답에는 항상 불확실성이 남습니다. 머신러닝은 데이터로 모델을 학습하니 통계의 방향이지만, 확률 모델과 우도 계산을 도구로 쓰므로 두 분야를 모두 사용합니다.

자세한 설명

같은 동전, 반대 방향

동전의 앞면 확률을 \(p\), 10번 던졌을 때의 앞면 수를 \(X\)라 하자.

확률 문제. \(p = 0.5\)를 안다면 \(P(X = 7)\)은 다음과 같이 정해진다.

\[P(X = 7) = \binom{10}{7} 0.5^{10} = \frac{120}{1024} \approx 0.117\]

통계 문제. \(X = 7\)을 관측했을 때 \(p\)는 무엇인가? 점 추정값은 \(\hat{p} = 0.7\)이지만, 공정한 동전에서도 이런 결과가 드물지 않으므로 이 값만으로 불공정하다고 결론 내릴 수 없다. 추정에 신뢰구간이나 검정, 사후 분포가 따라붙는 이유이다.

비교

  확률 통계
주어진 것 모델과 파라미터 관측 데이터
구하는 것 데이터가 나올 가능성 파라미터, 모델, 판단
추론 방향 일반에서 구체로 구체에서 일반으로
답의 성격 가정이 맞으면 수학적으로 확정 불확실성이 남고 방법에 따라 다름
대표 도구 확률 분포, 기댓값, 극한 정리 추정, 검정, 신뢰구간, 베이즈 추론

둘의 연결

두 분야는 분리되어 있지 않다. 통계적 방법의 성질은 확률론으로 증명한다. 예를 들어 표본 평균의 표준오차는 확률 계산의 결과이고, 신뢰구간은 그 위에 세워진다.

연결 고리가 잘 드러나는 것이 우도(likelihood)이다. 같은 식 \(p(x \mid \theta)\)를 \(\theta\)를 고정하고 \(x\)의 함수로 보면 확률이고, \(x\)를 고정하고 \(\theta\)의 함수로 보면 우도이다. 최대우도 추정은 후자를 최대화하는 통계적 절차이다.

이 추론 방향은 Q-9의 귀납과 연역에 대략 대응한다. 다만 확률도 모델의 불확실성을 다루므로, 정확히 같은 구분이라고 말할 수는 없다.

관련 개념

  • 우도, 사전 분포, 사후 분포: 데이터에서 파라미터로 거꾸로 가는 베이즈식 경로이다. Q-39에서 다룬다.
  • 빈도주의와 베이즈주의: 통계 추론에서 확률을 어떻게 해석할지에 대한 두 입장이다. Q-71에서 다룬다.
  • 최대우도 추정(MLE): 머신러닝의 많은 손실 함수가 여기서 유도된다. Deep Learning 2를 참고한다.

꼬리 질문

Q. 그럼 앞면 7번이면 동전이 불공정하다고 할 수 있나요? 공정하다는 가정에서 7번 이상 나올 확률은 약 0.17이고 양측으로는 약 0.34이므로, 이 데이터만으로는 불공정하다는 근거가 약합니다. 다만 공정하다고 증명된 것도 아닙니다.

Q. 머신러닝과 통계는 어떻게 다른가요? 도구는 많이 겹치지만 강조점이 다릅니다. 통계는 파라미터 해석과 불확실성 정량화를 중시하는 경향이 있고, 머신러닝은 새 데이터에 대한 예측 성능을 중시하는 경향이 있습니다. 경계가 뚜렷한 것은 아닙니다.