3 Inseok Kong Schedule

Q-6. 인기 있는 머신러닝 알고리즘 5가지를 말해 보세요.

정해진 목록은 없지만 선형·로지스틱 회귀, 의사결정나무와 앙상블, SVM, KNN, 신경망이 대표적이며, 각각 언제 쓰는지까지 말할 수 있어야 한다.

면접 답변

정해진 다섯 개가 있는 것은 아니지만, 저는 선형·로지스틱 회귀, 의사결정나무와 그 앙상블, 서포트 벡터 머신, K-최근접 이웃, 신경망을 꼽겠습니다. 이 다섯 개를 고른 이유는 각각 모델의 작동 방식이 뚜렷이 다르기 때문입니다. 로지스틱 회귀는 해석하기 쉬운 기준 모델이고, 트리 앙상블은 표 형태 데이터에서 강력하며, SVM은 마진을 최대화하고, KNN은 가까운 예시로 판단하며, 신경망은 이미지나 텍스트에서 표현까지 학습합니다. 예를 들어 표 형태의 이탈 예측이라면 로지스틱 회귀로 기준선을 잡고 gradient boosting과 비교하고, 이미지 분류라면 사전학습된 신경망부터 시도합니다. 비지도 학습까지 포함한다면 K-means도 덧붙이겠습니다.

자세한 설명

한눈에 보기

알고리즘 핵심 아이디어 장점 약점
선형·로지스틱 회귀 특징의 가중합 빠름, 해석 쉬움 비선형성은 특징으로 직접 만들어야 함
의사결정나무, 앙상블 축 방향 분할의 반복과 결합 전처리 적음, 표 데이터에 강함 단일 트리는 불안정, 앙상블은 해석 어려움
SVM 마진 최대화, 커널 고차원에 강함 대규모 데이터에서 커널 방식은 느림
KNN 가까운 이웃의 다수결 학습이 없고 단순함 예측이 느림, 스케일과 고차원에 민감
신경망 층을 합성한 표현 학습 비정형 데이터에 강함 자원과 튜닝이 많이 필요

1. 선형 회귀와 로지스틱 회귀

선형 회귀는 \(\hat{y} = w^\top x + b\)로 연속값을 예측한다. \(w\)는 가중치, \(b\)는 절편이다. 로지스틱 회귀는 같은 점수를 시그모이드 함수에 넣어 클래스 확률을 낸다.

\[P(y = 1 \mid x) = \frac{1}{1 + e^{-(w^\top x + b)}}\]

이름은 회귀이지만 로지스틱 회귀는 분류 모델이다.

2. 의사결정나무와 앙상블

특징 하나와 임곗값으로 데이터를 반복해서 나눈다. 단일 트리는 분산이 크므로 실무에서는 앙상블을 쓴다. 랜덤 포레스트는 부트스트랩 표본과 무작위 특징으로 만든 트리를 평균해 분산을 줄이고, gradient boosting은 이전 트리들의 오차를 줄이도록 트리를 순차적으로 더한다.

3. 서포트 벡터 머신(SVM)

두 클래스 사이의 마진을 최대화하는 경계를 찾는다. \(y_i \in \{-1, +1\}\)는 레이블, \(C\)는 오류 허용 정도를 조절하는 하이퍼파라미터이다.

\[\min_{w, b} \frac{1}{2} \lVert w \rVert^2 + C \sum_{i=1}^{n} \max\big(0, 1 - y_i (w^\top x_i + b)\big)\]

커널을 쓰면 특징을 직접 계산하지 않고 비선형 경계를 만들 수 있다.

4. K-최근접 이웃(KNN)

새로운 점 \(x\)와 가장 가까운 학습 데이터 \(k\)개를 찾아 분류에서는 다수결, 회귀에서는 평균으로 답한다. 학습 단계가 데이터 저장뿐인 게으른 학습(lazy learning)이므로 예측 시 계산이 많고, 거리를 쓰기 때문에 특징 스케일을 맞춰야 한다.

5. 신경망

선형 변환과 비선형 활성화 함수를 번갈아 합성한 모델이다. 역전파로 기울기를 구해 학습한다. 충분한 데이터가 있거나 사전학습 모델을 쓸 수 있는 이미지, 음성, 텍스트 문제에서 주로 선택한다.

면접에서 함께 말하면 좋은 것

  • 나열로 끝내지 말고, 주어진 데이터에서 어느 것을 먼저 시도할지를 이유와 함께 말한다.
  • K-means, PCA 같은 비지도 알고리즘과 나이브 베이즈도 자주 함께 거론된다. 어떤 범위를 묻는지 확인해도 좋다.

관련 개념

꼬리 질문

Q. 이 중에서 가장 좋은 알고리즘은 무엇인가요? 모든 문제에서 가장 좋은 알고리즘은 없다. 공짜 점심 없음 정리가 말하듯 성능은 데이터의 구조와 모델의 가정이 맞는지에 달려 있으므로, 후보를 교차 검증으로 비교해서 정한다.

Q. 랜덤 포레스트와 gradient boosting의 차이는 무엇인가요? 랜덤 포레스트는 깊은 트리를 독립적으로 만들어 평균하므로 주로 분산을 줄인다. Boosting은 대개 얕은 트리를 순차적으로 더해 주로 편향을 줄이며, 학습률과 트리 수를 조절하지 않으면 과적합할 수 있다.

Q. 특징 스케일링이 필요한 것은 어느 것인가요? 거리나 내적의 크기에 의존하는 KNN과 SVM, 그리고 경사하강법으로 학습하는 모델에는 대체로 필요하다. 트리 기반 모델은 값의 순서만 사용하므로 필요 없다.