3 Inseok Kong Schedule

Q-4. Data mining과 machine learning의 차이점은 무엇인가요?

데이터 마이닝은 쌓인 데이터에서 사람이 쓸 지식을 발견하는 데, 머신러닝은 데이터로 새로운 입력에 대해 잘 예측하는 모델을 만드는 데 초점이 있으며 두 분야는 크게 겹친다.

면접 답변

가장 큰 차이는 목적입니다. 데이터 마이닝은 이미 쌓인 데이터에서 사람이 이해하고 활용할 패턴을 발견하는 데 초점이 있고, 머신러닝은 데이터로 학습해 새로운 입력에서 잘 예측하거나 행동하는 모델을 만드는 데 초점이 있습니다. 다만 칼로 자르듯 나뉘는 분야는 아니고, 데이터 마이닝이 머신러닝 알고리즘을 도구로 쓰는 경우도 많습니다. 예를 들어 판매 기록에서 함께 팔리는 상품 조합을 찾아 매장 진열을 바꾸는 것은 데이터 마이닝에 가깝고, 고객별로 다음에 구매할 상품을 예측하는 모델을 서비스에 배포하는 것은 머신러닝에 가깝습니다.

자세한 설명

비교

  데이터 마이닝 머신러닝
주된 질문 이 데이터에 어떤 패턴이 있는가? 새로운 입력의 답은 무엇인가?
결과물 규칙, 군집, 이상치 등 사람이 쓰는 지식 예측에 쓰는 모델
핵심 기준 패턴의 유용성, 해석 가능성 처음 보는 데이터에서의 성능
대표 기법 연관 규칙, 군집화, 이상 탐지 분류, 회귀, 강화 학습
뿌리 데이터베이스, 통계 통계, 인공지능, 최적화

이 표는 강조점의 차이일 뿐이다. 군집화는 양쪽 교과서에 모두 나오고, 의사결정나무는 예측 모델이면서 해석 가능한 규칙을 제공한다.

KDD 안에서의 데이터 마이닝

Fayyad 등(1996)의 정리에서 KDD(knowledge discovery in databases)는 데이터 선택, 전처리, 변환, 데이터 마이닝, 해석과 평가로 이어지는 전체 과정이고, 데이터 마이닝은 그중 패턴을 추출하는 단계이다. 실무에서는 전체 과정을 그냥 데이터 마이닝이라고 부르는 경우도 많다.

작은 예: 연관 규칙

데이터 마이닝을 대표하는 기법인 연관 규칙(association rule) 분석을 설명을 위해 만든 장바구니 5개로 계산해 본다.

거래 품목
1 라면, 계란, 우유
2 라면, 계란
3 라면, 빵
4 계란, 우유
5 우유, 빵

규칙 \(A \Rightarrow B\)를 평가하는 세 지표는 다음과 같다. \(P(A)\)는 품목 집합 \(A\)를 포함한 거래의 비율이다.

\[\text{support}(A \Rightarrow B) = P(A \cap B), \quad \text{confidence}(A \Rightarrow B) = \frac{P(A \cap B)}{P(A)}, \quad \text{lift}(A \Rightarrow B) = \frac{P(A \cap B)}{P(A) P(B)}\]

규칙 “라면 ⇒ 계란”은 지지도 \(2/5 = 0.4\), 신뢰도 \(0.4 / 0.6 \approx 0.667\), 향상도 \(0.4 / (0.6 \times 0.6) \approx 1.11\)이다. 향상도가 1이면 두 품목이 독립일 때와 같은 빈도라는 뜻이고, 1.11은 독립일 때보다 약간 더 함께 팔린다는 뜻이다.

여기서 결과물은 예측 모델이 아니라 사람이 읽고 판단할 규칙이다. 또한 함께 팔린다는 것은 인과가 아니므로, 묶음 판매가 실제로 매출을 늘리는지는 별도로 실험해야 한다.

관련 개념

  • 비지도 학습: 레이블 없이 구조를 찾는 머신러닝으로, 데이터 마이닝과 겹치는 부분이 가장 크다. 지도 학습과 비지도 학습을 참고한다.
  • 다중 비교 문제: 수많은 패턴을 뒤지면 우연히 강해 보이는 패턴이 반드시 나온다. 찾아낸 패턴은 다른 데이터나 실험으로 검증해야 한다.
  • A/B 테스트: 발견한 패턴을 행동으로 옮겼을 때 효과가 있는지 확인하는 방법이다. A/B Test에서 다룬다.
  • 빅데이터: 데이터의 규모와 처리 기술에 관한 개념으로 데이터 마이닝이나 머신러닝과 또 다른 축이다. 머신러닝과 빅데이터의 차이에서 구분한다.

꼬리 질문

Q. 고객 군집화는 데이터 마이닝인가요, 머신러닝인가요? 둘 다이다. k-means는 머신러닝 알고리즘이지만 그 결과로 고객 집단의 특성을 파악해 마케팅에 쓴다면 목적은 데이터 마이닝에 가깝다. 기법보다 결과를 어디에 쓰는지가 구분의 기준이 된다.

Q. 지지도와 신뢰도만 보면 왜 부족한가요? 원래 아주 많이 팔리는 품목은 어떤 규칙의 결론으로 와도 신뢰도가 높게 나온다. 향상도는 결론 품목의 기본 빈도로 나누어 이 효과를 보정한다.