면접 답변
딥러닝은 머신러닝과 나란히 있는 개념이 아니라 머신러닝의 한 분야입니다. 그래서 정확한 비교 대상은 전통적인 머신러닝 방법이고, 핵심 차이는 특징을 누가 만드느냐입니다. 전통적인 방법은 대개 사람이 설계한 특징을 입력으로 받지만, 딥러닝은 여러 층을 쌓아 원시 데이터에서 특징 표현까지 함께 학습합니다. 예를 들어 이미지 분류에서 예전에는 SIFT 같은 특징을 뽑아 SVM에 넣었다면, CNN은 픽셀에서 바로 학습하면서 앞쪽 층에서는 윤곽선 같은 단순한 패턴을, 뒤쪽 층에서는 더 복잡한 패턴을 잡아냅니다. 다만 딥러닝이 항상 우월한 것은 아니어서, 표 형태 데이터에서는 gradient boosting 같은 트리 앙상블이 강력한 기준선이 됩니다.
자세한 설명
관계
인공지능 ⊃ 머신러닝 ⊃ 딥러닝의 포함 관계이다. 딥러닝은 은닉층을 여러 개 가진 신경망을 사용하는 머신러닝이며, 몇 층부터 “깊다”고 부르는지에 대한 엄밀한 기준은 없다.
특징을 고정하는가, 학습하는가
전통적인 선형 모델은 고정된 특징 변환 \(\phi\) 위에서 가중치 \(w\)만 학습한다.
\[f(x) = w^\top \phi(x)\]딥러닝은 특징 변환도 매개변수 \(\theta_1, \dots, \theta_{L-1}\)를 가진 함수로 두고, 마지막 층의 \(w\)와 함께 학습한다. 다음에서 \(f_\ell\)은 \(\ell\)번째 층이고 \(L\)은 층의 수이다.
\[f(x) = w^\top \big( f_{L-1} \circ \cdots \circ f_1 \big)(x)\]이것이 표현 학습(representation learning)이다. 또한 층마다 선형 변환 뒤에 비선형 활성화 함수를 두어, 합성된 전체 함수가 선형이 아니게 만든다.
층을 쌓으면 달라지는 것: XOR
XOR은 입력 공간에서 직선 하나로 나눌 수 없어 입력에 직접 작용하는 선형 분류기로는 풀 수 없다. 계단 함수 \(s(v) = 1\) if \(v > 0\), 아니면 \(0\)을 쓰는 은닉 유닛 두 개를 두면 풀린다.
\[h_1 = s(x_1 + x_2 - 0.5), \quad h_2 = s(x_1 + x_2 - 1.5), \quad y = s(h_1 - h_2 - 0.5)\]| \(x_1\) | \(x_2\) | \(h_1\) | \(h_2\) | \(y\) |
|---|---|---|---|---|
| 0 | 0 | 0 | 0 | 0 |
| 0 | 1 | 1 | 0 | 1 |
| 1 | 0 | 1 | 0 | 1 |
| 1 | 1 | 1 | 1 | 0 |
\((h_1, h_2)\) 공간에서는 선형으로 분리된다. 은닉층이 문제가 쉬워지는 표현을 만든 것이다. 여기서는 가중치를 손으로 정했지만, 실제로는 역전파와 경사하강법으로 학습한다.
비교
| 전통적인 머신러닝 | 딥러닝 | |
|---|---|---|
| 특징 | 주로 사람이 설계 | 데이터에서 함께 학습 |
| 잘 맞는 데이터 | 표 형태, 중소 규모 | 이미지, 음성, 텍스트 같은 비정형 |
| 데이터 요구량 | 상대적으로 적음 | 처음부터 학습하면 대체로 많음 |
| 계산 자원 | CPU로 충분한 경우가 많음 | 대개 GPU 등 가속기 필요 |
| 해석 | 선형 모델, 얕은 트리는 쉬움 | 어려워 별도 기법 필요 |
| 튜닝 | 특징 설계에 공이 듦 | 구조와 학습 설정에 공이 듦 |
“딥러닝은 데이터가 많아야 한다”는 말은 처음부터 학습할 때의 이야기이다. 사전학습된 모델을 미세조정하는 전이 학습을 쓰면 적은 데이터로도 좋은 결과를 얻을 수 있다.
구조가 사전 지식을 담는다
딥러닝에서도 사람의 설계가 사라지는 것은 아니다. 특징 설계가 구조 설계로 옮겨 간다. \(224 \times 224 \times 3\) 이미지(입력 150,528개)를 은닉 유닛 1,000개의 완전 연결층에 넣으면 그 층의 매개변수만 \(150{,}528 \times 1{,}000 + 1{,}000 = 150{,}529{,}000\)개이다. CNN은 “가까운 픽셀끼리 관련이 있고 같은 패턴이 어디에나 나타난다”는 가정으로 가중치를 공유해 이 수를 크게 줄인다.
관련 개념
- 표현 학습: 과제에 유용한 특징을 데이터에서 학습하는 것이다. Deep Learning 1 정리에서 머신러닝과 딥러닝의 정의와 함께 다룬다.
- 역전파: 여러 층의 매개변수를 효율적으로 학습하게 하는 기울기 계산법이다. 역전파 질문을 참고한다.
- CNN: 공간 구조에 대한 가정을 내장한 신경망이다. CNN 정리에 자세히 나온다.
- 관계 전체 조망: 인공지능, 머신러닝, 딥러닝의 관계는 이 정리와 AI와 ML의 차이로 이어진다.
꼬리 질문
Q. 표 형태 데이터에는 왜 트리 앙상블을 먼저 시도하나요? 각 열이 이미 의미 있는 특징인 경우가 많아 표현 학습의 이점이 작고, 트리 앙상블은 스케일 조정 없이도 비선형성과 특징 간 상호작용을 잘 다루며 학습이 빠르기 때문이다. 항상 이긴다는 뜻은 아니므로 데이터에서 비교해야 한다.
Q. 은닉층 하나로도 어떤 함수든 근사할 수 있다면 왜 깊게 쌓나요? 보편 근사 정리는 충분히 넓은 은닉층이 있으면 근사가 가능하다고 말할 뿐, 필요한 유닛 수나 학습 가능성을 보장하지 않는다. 깊은 구조는 단순한 특징을 조합해 복잡한 특징을 만들어, 어떤 함수는 훨씬 적은 유닛으로 표현할 수 있다.
Q. 딥러닝 없이 비선형 문제를 풀 수는 없나요? 풀 수 있다. 커널 SVM, 트리 앙상블, KNN은 모두 비선형 결정 경계를 만든다. 비선형성 자체가 아니라 계층적 표현을 데이터에서 학습한다는 점이 딥러닝의 특징이다.