1장은 책 전체의 지도 역할을 한다. 코드는 없고, 이후 장에서 다룰 개념들(지도 학습, 비지도 학습, 합성곱 신경망, 순환 신경망, 전이 학습 등)이 어디에 속하는지 큰 그림을 잡는다.
1.1 인공지능, 머신 러닝과 딥러닝
인공지능(Artificial Intelligence, AI) 은 사람이 지능을 써서 하던 일을 기계가 대신하게 만드는 기술 전반을 가리킨다. 그 구현 방법 가운데 데이터에서 규칙을 배우는 접근이 머신 러닝(machine learning) 이고, 머신 러닝 가운데 여러 층의 신경망을 쓰는 방법이 딥러닝(deep learning) 이다. 따라서 포함 관계는 다음과 같다.
\[\text{딥러닝} \subset \text{머신 러닝} \subset \text{인공지능}\]둘 다 데이터를 학습해 분류나 예측을 하지만, 가장 큰 차이는 특징을 누가 만드느냐에 있다.
- 머신 러닝: 사람이 데이터를 먼저 가공해 모델이 쓸 수 있는 특징(예: 이미지라면 모양, 색, 크기 같은 수치)을 뽑아 준다. 알고리즘은 그 특징을 받아 패턴을 학습한다.
- 딥러닝: 원본에 가까운 대량의 데이터를 신경망에 그대로 넣으면, 신경망이 학습 과정에서 쓸모 있는 특징까지 스스로 찾아낸다.
두 방식의 특성을 비교하면 다음과 같다.
| 항목 | 머신 러닝 | 딥러닝 |
|---|---|---|
| 동작 방식 | 입력 데이터(사람이 뽑은 특징)에 알고리즘을 적용해 예측 | 여러 층의 신경망이 데이터의 특징과 관계를 직접 해석 |
| 재사용 | 문제마다 알고리즘과 특징을 새로 골라야 함 | 같은 종류의 데이터라면 만든 신경망을 다시 활용 가능 |
| 필요한 데이터 양 | 대략 수천 건 규모 | 수백만 건 이상이 필요한 경우가 많음 |
| 훈련 시간 | 짧음 | 긺 |
| 출력 형태 | 주로 점수나 클래스 같은 숫자 | 점수, 텍스트, 소리 등 다양한 형태 |
어느 쪽이 항상 낫다기보다, 데이터의 양과 형태, 목적에 맞춰 고르기 위해 차이를 알아 두는 것이 중요하다.
1.2 머신 러닝이란
머신 러닝은 컴퓨터가 데이터에서 패턴이나 지식을 스스로 찾아 학습하고, 그 결과로 새로운 데이터를 예측하게 하는 기술 분야다. 규칙을 사람이 직접 프로그래밍하는 대신, 규칙을 찾는 방법(알고리즘)을 만든다는 점이 핵심이다.
1.2.1 머신 러닝 학습 과정
머신 러닝은 두 단계로 나뉜다.
- 학습 단계(learning): 훈련 데이터(특징과 정답인 레이블(label))를 알고리즘에 넣어 모델을 만든다.
- 예측 단계(prediction): 학습으로 얻은 모델에 처음 보는 데이터를 넣어 결과를 예측한다.
특성 추출
컴퓨터는 사람이 보는 사진이나 문장을 그대로 이해하지 못한다. 데이터마다 어떤 성질이 두드러지는지 찾아 그것을 숫자 벡터로 바꿔 주어야 알고리즘이 패턴을 찾을 수 있다. 이 변환 작업을 특성 추출(feature extraction) 이라 한다. 예를 들어 과일 사진이라면 “둥근 정도”, “평균 색상”, “크기”를 숫자로 재어 [0.9, 0.2, 7.5] 같은 벡터로 만드는 식이다. 머신 러닝에서는 이 단계를 주로 사람이 설계한다.
데이터와 모델
머신 러닝의 두 축은 데이터와 모델이다.
- 데이터: 모델이 배우는 재료다. 훈련 데이터가 실제 현상을 제대로 대표하지 못하거나 한쪽으로 치우쳐 있으면, 아무리 좋은 알고리즘을 써도 실제 상황에서 잘 동작하지 않는다. 그래서 편향이 적고 현실을 잘 반영하는 데이터를 모으는 일이 먼저다.
- 모델: 학습의 결과물로, “입력 데이터는 이런 패턴을 따른다”는 일종의 가설(hypothesis) 이다.
모델은 한 번에 완성되지 않고 다음 과정을 반복해 다듬는다.
- 모델(가설)을 고른다.
- 학습시키고 평가한다.
- 평가 결과를 보고 모델을 고친다.
이 반복으로 문제를 가장 잘 푸는 모델을 찾은 뒤, 실제 문제에 적용해 분류나 예측을 수행한다.
훈련, 검증, 테스트 데이터셋
모은 데이터는 보통 훈련(training) 데이터셋과 테스트(test) 데이터셋으로 나눈다. 흔히 80%를 훈련에, 20%를 테스트에 쓴다. 여기에 더해 훈련 데이터의 일부를 떼어 검증(validation) 데이터셋으로 쓰기도 한다.
전체 데이터
├── 훈련 데이터셋 (약 80%)
│ ├── 훈련용 → 매개변수 학습
│ └── 검증용 → 학습 중 성능 점검, 설정 조정
└── 테스트 데이터셋 (약 20%) → 마지막에 한 번, 최종 성능 확인
검증 데이터셋을 두는 이유는 두 가지다.
- 새 데이터에서의 성능을 미리 가늠한다. 모델의 목적은 앞으로 들어올 데이터를 잘 맞히는 것이므로, 학습에 쓰지 않은 데이터로 중간 점검을 해야 한다.
- 성능 개선의 단서를 준다. 훈련 정확도는 높은데 검증 정확도가 낮다면 모델이 훈련 데이터에만 지나치게 맞춰진 과적합(overfitting) 을 의심할 수 있다. 이때는 정규화(regularization)를 쓰거나 학습 반복 횟수인 에포크(epoch) 를 줄이는 식으로 대응한다.
다만 검증 데이터는 훈련 데이터에서 떼어 내는 것이므로, 데이터가 적을 때는 오히려 학습에 쓸 양이 모자라 손해일 수 있다.
1.2.2 머신 러닝 학습 알고리즘
머신 러닝의 학습 방식은 크게 세 가지다.
- 지도 학습(supervised learning): 입력과 함께 정답(레이블)을 주고 학습시킨다. “이 사진은 고양이”처럼 답을 알려 주므로, 학습이 끝나면 새 입력을 A인지 B인지 명확하게 분류할 수 있다.
- 비지도 학습(unsupervised learning): 정답 없이 데이터만 준다. 모델은 데이터 사이의 거리(유사도)를 재어 비슷한 것끼리 묶는다. 예를 들어 동물 데이터에서 “다리가 짧은 초식 동물”끼리 한 무리로 모이는 식이며, 이렇게 묶는 작업을 클러스터링(clustering, 군집화) 이라 한다.
- 강화 학습(reinforcement learning): 정해진 데이터나 정답 대신, 행동의 결과로 받는 보상(reward) 을 통해 배운다. 달리기 게임으로 생각하면 캐릭터가 에이전트(agent), 게임 맵이 환경(environment) 이다. 에이전트는 상황에 따라 행동(action) 을 고르고, 아이템을 먹는 등의 행동으로 보상을 얻는다. 보상을 키우는 행동은 더 자주, 보상을 줄이는 행동은 덜 하도록 정책을 고쳐 나간다. 정답이 주어지지 않아 세 가지 중 가장 까다롭다(자세한 내용은 12장).
각 방식의 대표 알고리즘은 다음과 같으며, 3장에서 하나씩 실습한다.
| 학습 방식 | 문제 유형 | 대표 알고리즘 |
|---|---|---|
| 지도 학습 | 분류(classification) | K-최근접 이웃(KNN), 서포트 벡터 머신(SVM), 결정 트리, 로지스틱 회귀 |
| 지도 학습 | 회귀(regression) | 선형 회귀 |
| 비지도 학습 | 군집(clustering) | K-평균 군집화, 밀도 기반 군집 분석(DBSCAN) |
| 비지도 학습 | 차원 축소(dimensionality reduction) | 주성분 분석(PCA) |
| 강화 학습 | - | 마르코프 결정 과정(MDP) |
분류는 정해진 범주 중 하나를 고르는 문제이고, 회귀는 연속적인 숫자 값을 예측하는 문제다.
1.3 딥러닝이란
딥러닝은 사람 뇌의 신경망 구조를 본떠 만든 심층 신경망(deep neural network) 을 바탕으로 하는 머신 러닝 방법이다. 뇌는 수많은 뉴런(neuron) 이 시냅스(synapse) 로 연결되어 신호를 주고받는데, 이 구조를 수학적으로 흉내 내 많은 연결을 병렬로 계산하게 한 것이 인공 신경망이다. 그 덕분에 음성이나 영상 인식처럼 기존 방식으로는 어려웠던 문제를 다룰 수 있게 되었다.
생물학적 뉴런의 구성 요소와 인공 신경망의 대응은 대략 다음과 같다.
| 생물학적 뉴런 | 하는 일 | 인공 신경망에서의 대응 |
|---|---|---|
| 수상돌기(dendrite) | 주변 뉴런의 자극을 받아 전기 신호로 세포체에 전달 | 입력 |
| 시냅스 | 앞 뉴런의 축삭돌기와 다음 뉴런의 수상돌기가 만나는 연결 부위 | 가중치(연결 강도) |
| 축삭돌기(axon) | 뉴런마다 하나 있는 가장 긴 돌기, 다음 뉴런으로 신호 전달 | 출력 전달 |
| 축삭말단 | 신호를 받아 신경 전달 물질을 시냅스 틈으로 내보냄 | 다음 층으로의 출력 |
1.3.1 딥러닝 학습 과정
딥러닝의 큰 흐름도 머신 러닝과 비슷하다. 세부 기법은 끝없이 많으므로 여기서는 상위 단계만 짚는다.
1. 데이터 준비. 처음 공부할 때는 두 경로가 편하다. 하나는 파이토치나 케라스 같은 프레임워크가 내장한 데이터셋으로, 이미 전처리되어 있고 예제도 풍부하다. 다른 하나는 캐글(Kaggle) 같은 플랫폼에 공개된 데이터다. 정리가 덜 된 공공 데이터는 전처리 부담이 크므로 초반에는 이런 데이터가 낫다.
2. 모델 정의. 신경망의 구조를 만든다. 은닉층(hidden layer) 을 늘리면 표현력이 커져 성능이 좋아질 수 있지만, 동시에 과적합 위험도 커진다. 성능과 과적합이 맞물려 있으므로 구조를 적절히 설계하는 것이 중요하다.
3. 모델 컴파일. 학습에 쓸 구성 요소를 고른다.
- 활성화 함수(activation function): 뉴런의 출력을 비선형으로 바꾸는 함수.
- 손실 함수(loss function): 예측이 정답과 얼마나 다른지 재는 함수. 연속적인 값을 예측하면 평균 제곱 오차(Mean Squared Error, MSE), 이진 분류(binary classification)라면 크로스 엔트로피(cross entropy) 를 주로 쓴다.
- 옵티마이저(optimizer): 손실을 줄이도록 가중치를 갱신하는 방법.
4. 모델 훈련. 데이터를 얼마씩 나누어 몇 번 반복할지 정한다. 한 번에 너무 많은 데이터를 넣으면 느려지고 메모리가 부족해질 수 있으므로 데이터를 묶음 단위로 나눈다. 이 묶음의 크기가 배치 크기(batch size), 전체 데이터를 몇 번 훑을지가 에포크다. 학습 중 손실과 정확도의 변화를 그래프로 보면서 파라미터(parameter, 모델이 학습하는 값) 와 하이퍼파라미터(hyperparameter, 사람이 정하는 설정값) 를 조정한다. 이 책에서 “훈련”과 “학습”은 같은 뜻으로 쓰인다.
배치 크기와 에포크, 가중치 갱신 횟수의 관계는 간단한 곱셈이다. 훈련 데이터가 \(N\)개, 배치 크기가 \(B\), 에포크가 \(E\)라면
\[\text{에포크당 갱신 횟수} = \frac{N}{B}, \qquad \text{총 갱신 횟수} = E \times \frac{N}{B}\]예를 들어 \(N = 1000\), \(B = 20\)이면 한 에포크에 가중치가 50번 바뀌고, \(E = 10\)이면 각 샘플이 10번씩 쓰이면서 총 500번 갱신된다.
5. 모델 예측. 검증 데이터를 학습된 모델에 넣어 실제로 예측해 본다. 예측력이 부족하면 하이퍼파라미터를 다시 조정하거나 신경망 구조 자체를 바꾼다.
“성능이 좋다”는 말의 의미
성능(performance)에는 공식 정의가 없다. 데이터가 나온 분야와 모델을 만든 목적에 따라 달라진다. 보통은 예측이 정확하다는 뜻이지만, 훈련이 빠르다는 뜻으로도 쓰인다.
신경망과 역전파
딥러닝의 핵심 요소는 두 가지다.
- 심층 신경망: 은닉층이 여러 개인 신경망이다. 데이터의 어떤 특성이 중요한지 스스로 학습한다는 점이, 사람이 특징을 골라 주는 일반 머신 러닝과 구별되는 지점이다.
- 역전파(backpropagation): 출력의 오차를 거꾸로 전달하면서 각 가중치가 오차에 얼마나 책임이 있는지, 즉 오차를 가중치로 미분한 값을 구해 가중치를 고친다. 이 미분 계산이 학습 성능을 좌우한다.
여기서 \(E\)는 오차, \(\eta\)는 학습률이다. 다행히 파이토치 같은 프레임워크는 이 미분을 자동으로 계산해 주므로, 구현할 때는 신경망 구조와 학습 설정에 집중하면 된다.
1.3.2 딥러닝 학습 알고리즘
딥러닝 알고리즘은 쓰임새에 따라 지도 학습, 비지도 학습, 전이 학습, 강화 학습으로 나눌 수 있다.
지도 학습: 이미지와 시계열
이미지나 영상 속 대상을 알아보는 컴퓨터 비전(computer vision)에서는 합성곱 신경망(Convolutional Neural Network, CNN) 이 가장 널리 쓰인다. 목적에 따라 세 갈래로 나뉜다.
- 이미지 분류: 이미지 한 장이 어느 클래스에 속하는지 답한다.
- 이미지 인식: 사진 속에 어떤 사물들이 있는지 찾아낸다. 의료 영상 진단, 산업 검사, 로봇 비전 등에 쓰인다.
- 이미지 분할: 픽셀 하나하나가 어떤 객체(또는 배경)에 속하는지 나눈다. X-ray, CT, MRI 같은 의료 영상에서 병변 영역을 찾는 데 활용된다.
주가처럼 시간 순서가 있는 데이터에는 순환 신경망(Recurrent Neural Network, RNN) 을 쓴다. 다만 RNN은 긴 시퀀스를 역전파할 때 기울기가 점점 작아져 사라지는 기울기 소멸(vanishing gradient) 문제가 있다. 이를 보완한 것이 LSTM(Long Short-Term Memory) 으로, 세 개의 게이트를 둔다.
- 망각 게이트(forget gate): 지난 정보 중 버릴 것을 정한다.
- 입력 게이트(input gate): 현재 정보 중 기억할 것을 정한다.
- 출력 게이트(output gate): 최종 출력을 정한다.
비지도 학습: 워드 임베딩과 군집
사람의 언어(자연어)를 컴퓨터가 다루려면 단어를 숫자로 바꿔야 한다. 단어의 의미를 반영해 단어를 벡터로 표현하는 기술이 워드 임베딩(word embedding) 이며, 대표적으로 Word2Vec과 GloVe가 있다. 번역, 음성 인식 같은 서비스의 기반이 된다.
군집은 아무 정답 정보 없이 데이터를 나누는 방법으로, 같은 군집 안은 최대한 비슷하게, 다른 군집과는 최대한 다르게 나누는 것이 목표다. 원리는 머신 러닝의 군집과 같지만, 신경망과 함께 쓰면(예: 신경망으로 뽑은 특징을 군집화) 성능을 더 끌어올릴 수 있다.
전이 학습
전이 학습(transfer learning) 은 다른 큰 데이터로 이미 학습을 마친 사전 학습 모델(pre-trained model) 을 가져와, 풀고 싶은 문제에 맞게 조금 더 학습시키는 방법이다. 대량의 데이터를 모으기도 어렵고 처음부터 학습시키려면 시간과 연산이 많이 들기 때문에, VGG, Inception, MobileNet 같은 사전 학습 모델을 출발점으로 삼으면 효율적이다. 핵심은 풀려는 문제와 비슷한 데이터로 학습된 모델을 고르는 것이다. 활용 방법으로 특성 추출과 미세 조정(fine-tuning)이 있으며 5장에서 다룬다.
강화 학습은 머신 러닝의 강화 학습과 같은 틀이므로 따로 설명하지 않는다.
딥러닝 알고리즘 분류 요약
| 학습 방식 | 유형 | 대표 알고리즘 |
|---|---|---|
| 지도 학습 | 이미지 분류 | CNN, AlexNet, ResNet |
| 지도 학습 | 시계열 데이터 분석 | RNN, LSTM |
| 비지도 학습 | 군집 | 가우시안 혼합 모델(GMM), 자기 조직화 지도(SOM) |
| 비지도 학습 | 차원 축소 | 오토인코더(AutoEncoder), 주성분 분석(PCA) |
| 전이 학습 | 전이 학습 | BERT, MobileNetV2 |
| 강화 학습 | - | 마르코프 결정 과정(MDP) |
이 분류는 알고리즘 하나하나만 놓고 본 대략적인 구분이다. 실제로는 여러 방식을 섞어 쓰는 경우가 많아 경계가 달라질 수 있다.
정리
- 인공지능 ⊃ 머신 러닝 ⊃ 딥러닝의 포함 관계이며, 머신 러닝은 사람이 특징을 뽑아 주고 딥러닝은 신경망이 특징까지 스스로 학습한다.
- 딥러닝은 더 많은 데이터와 긴 훈련 시간이 필요하지만, 출력 형태가 다양하고 같은 유형의 데이터에 모델을 재사용하기 쉽다.
- 머신 러닝은 학습 단계와 예측 단계로 나뉘고, 데이터를 숫자 벡터로 바꾸는 특성 추출이 선행되어야 한다.
- 데이터는 훈련/테스트(보통 8:2)로 나누고, 필요하면 훈련 데이터에서 검증 데이터를 떼어 과적합 여부를 점검한다.
- 학습 방식은 정답이 있는 지도 학습, 정답 없이 유사도로 묶는 비지도 학습, 보상으로 배우는 강화 학습으로 나뉘며, 딥러닝에서는 사전 학습 모델을 재활용하는 전이 학습이 더해진다.
- 딥러닝 학습은 데이터 준비 → 모델 정의 → 컴파일(활성화 함수, 손실 함수, 옵티마이저) → 훈련(배치 크기, 에포크) → 예측의 순서로 진행된다.
- 총 가중치 갱신 횟수는 (에포크) × (데이터 수 / 배치 크기)이다.
- 딥러닝의 핵심은 심층 신경망과 역전파이며, 파이토치는 역전파의 미분을 자동으로 처리해 준다.