면접 답변
머신러닝은 사람이 규칙을 직접 작성하는 대신, 데이터로부터 입력과 출력 사이의 규칙을 학습하게 하는 방법입니다. 규칙을 명시하기 어렵거나 너무 많은 문제에서는 예시를 보여 주고 패턴을 찾게 하는 편이 현실적이기 때문입니다. 핵심은 학습 데이터를 외우는 것이 아니라, 처음 보는 데이터에서도 잘 동작하는 일반화입니다. 예를 들어 스팸 필터를 만들 때 금지 단어 목록을 직접 관리하는 대신, 스팸 여부가 표시된 메일을 학습시켜 새로 들어온 메일을 분류하게 합니다. 공격자의 표현이 바뀌어도 새 데이터로 다시 학습하면 규칙을 고칠 수 있다는 점도 장점입니다.
자세한 설명
정의
가장 자주 인용되는 정의는 Tom Mitchell의 1997년 교과서에 나온다.
어떤 프로그램이 작업 \(T\)에 대해 성능 척도 \(P\)로 측정한 성능이 경험 \(E\)를 통해 향상되면, 그 프로그램은 \(E\)로부터 학습한다고 말한다.
스팸 필터라면 \(T\)는 메일 분류, \(P\)는 분류 정확도나 F1-score, \(E\)는 스팸 여부가 표시된 메일이다. 면접에서는 이 세 가지를 먼저 정하는 습관을 보여 주면 좋다. 무엇을 잘하려는지와 어떻게 잴 것인지를 정하지 않으면 학습이 되었는지도 판단할 수 없다.
기존 프로그래밍과의 차이
| 입력 | 출력 | |
|---|---|---|
| 기존 프로그래밍 | 데이터, 사람이 쓴 규칙 | 답 |
| 머신러닝 (학습 단계) | 데이터, 답 (지도 학습의 경우) | 규칙(모델) |
수식으로 보기
지도 학습의 경우 대부분의 알고리즘은 경험적 위험 최소화(empirical risk minimization)로 쓸 수 있다.
\[\hat{\theta} = \arg\min_{\theta} \frac{1}{n} \sum_{i=1}^{n} L\big(f_\theta(x_i), y_i\big)\]\(x_i\)는 입력, \(y_i\)는 정답, \(n\)은 데이터 수, \(f_\theta\)는 매개변수 \(\theta\)를 가진 모델, \(L\)은 예측과 정답의 차이를 재는 손실 함수이다. 그러나 진짜 목표는 이 값이 아니라 데이터 분포 \(\mathcal{D}\) 전체에서의 기대 손실이다.
\[R(\theta) = \mathbb{E}_{(x, y) \sim \mathcal{D}} \big[ L(f_\theta(x), y) \big]\]\(\mathcal{D}\)는 알 수 없으므로 표본으로 근사해서 최적화하고, 학습에 쓰지 않은 데이터로 \(R\)을 추정한다. 머신러닝이 단순한 최적화와 다른 지점이 여기에 있다.
작은 예
데이터 \((1, 2.1), (2, 3.9), (3, 6.2)\)에 절편 없는 모델 \(f(x) = wx\)를 제곱 손실로 맞추면 해는 다음과 같다.
\[w = \frac{\sum_i x_i y_i}{\sum_i x_i^2} = \frac{28.5}{14} \approx 2.04\]사람이 “2를 곱하라”고 쓰지 않았는데 데이터에서 그 규칙에 가까운 값이 나왔고, 처음 보는 \(x = 4\)에 대해 약 \(8.14\)를 예측한다.
관련 개념
- 일반화(generalization): 학습에 쓰지 않은 데이터에서도 성능을 내는 능력이다. 이것이 깨지는 대표적인 경우가 과적합이다.
- 학습 유형: 지도 학습과 비지도 학습, 강화 학습으로 나뉜다. 전체 틀은 CS229 소개 강의 정리에서 다룬다.
- 귀납적 편향(inductive bias): 유한한 데이터에서 일반화하려면 모델이 어떤 함수를 선호할지에 대한 가정이 필요하다. 귀납과 연역의 비교에서 자세히 다룬다.
꼬리 질문
Q. 머신러닝을 쓰지 말아야 할 때는 언제인가요? 규칙이 명확하고 안정적인 문제, 예를 들어 세금 계산처럼 정해진 공식이 있는 경우이다. 데이터가 없거나 오류를 설명 가능하게 통제해야 하는 경우에도 규칙 기반이 나을 수 있다.
Q. 학습 손실을 최소화하는 것이 왜 최종 목표가 아닌가요? 학습 손실은 표본에 대한 값이고 목표는 분포 전체에서의 손실이기 때문이다. 표본을 외우면 학습 손실은 0에 가까워져도 새 데이터에서의 성능은 나쁠 수 있다.