3 Inseok Kong Schedule

Q-7. 머신러닝과 빅데이터의 차이점은 무엇인가요?

빅데이터는 기존 도구로 다루기 어려운 규모의 데이터와 그 처리 기술을 가리키고, 머신러닝은 데이터로부터 예측 모델을 학습하는 방법으로, 서로 독립적이지만 함께 쓰일 때가 많다.

면접 답변

두 개념은 다루는 대상이 다릅니다. 빅데이터는 규모나 속도, 다양성 때문에 기존 도구로 처리하기 어려운 데이터와 그것을 저장하고 처리하는 기술에 관한 개념이고, 머신러닝은 데이터에서 패턴을 학습해 예측하는 방법입니다. 그래서 서로 없이도 존재할 수 있습니다. 예를 들어 수십억 건의 로그를 Spark로 집계해 일별 매출을 내는 일은 머신러닝이 아닌 빅데이터 처리이고, 환자 수백 명의 데이터로 로지스틱 회귀를 학습하는 일은 빅데이터가 아닌 머신러닝입니다. 함께 쓰이는 대표적인 경우는 대규모 사용자 행동 로그로 추천 모델을 학습하는 경우로, 빅데이터 기술이 데이터를 준비하고 머신러닝이 그 위에서 학습합니다.

자세한 설명

비교

  빅데이터 머신러닝
답하는 질문 이 데이터를 어떻게 저장하고 처리할까? 이 데이터로 무엇을 예측할까?
핵심 문제 분산 저장, 처리량, 지연 시간 일반화, 최적화, 모델 선택
대표 도구 HDFS, Spark, Kafka scikit-learn, PyTorch
결과물 정제된 데이터, 집계, 파이프라인 학습된 모델
대표 직무 데이터 엔지니어 ML 엔지니어, 데이터 과학자

빅데이터의 정의

빅데이터는 흔히 3V로 설명한다. 양(volume), 속도(velocity), 다양성(variety)이다. 여기에 정확성(veracity) 등을 더하기도 한다. 몇 바이트부터 빅데이터라는 고정된 기준은 없으며, 사용 가능한 한 대의 기계로 처리하기 어려운지가 실질적인 기준이다.

행 \(10^9\)개, 특징 100개, 값당 8바이트인 데이터는 \(10^9 \times 100 \times 8 = 8 \times 10^{11}\)바이트, 즉 800 GB이다. 일반적인 노트북 메모리에는 들어가지 않으므로 나누어 처리해야 한다.

데이터가 많으면 왜 도움이 되는가

평균 같은 추정량의 표준오차는 표준편차를 \(\sigma\), 표본 수를 \(n\)이라 할 때 다음과 같다.

\[\text{SE} = \frac{\sigma}{\sqrt{n}}\]

\(n\)을 100배로 늘리면 오차는 10배 줄어 줄어드는 폭이 점차 작아진다. 데이터가 많으면 복잡한 모델의 분산도 줄어든다. 또한 학습 곡선이 이미 평평하면 데이터를 더 모아도 효과가 작으므로 전체를 쓰기 전에 일부 표본으로 먼저 확인하는 것이 좋다.

데이터가 많아도 해결되지 않는 것

  • 편향된 수집: 표본 수가 아무리 많아도 수집 과정이 치우치면 치우친 값으로 수렴한다. 표준오차는 작아지지만 그 편향은 줄지 않는다.
  • 레이블 품질: 잘못된 레이블을 많이 모으면 잘못된 규칙을 더 확실하게 학습한다.
  • 상관과 인과: 데이터가 많을수록 사소한 상관도 통계적으로 유의하게 나타난다.

대규모 학습

배치 경사하강법은 한 번의 갱신마다 전체 데이터를 읽어야 한다. 확률적 경사하강법(SGD)은 미니배치 하나로 갱신하므로 전체 크기와 무관한 비용으로 갱신할 수 있고, 데이터를 흘려 보내며 학습하는 것도 가능하다. 이것이 대용량 데이터에서 머신러닝이 작동하는 주된 이유 중 하나이다.

관련 개념

  • 데이터 마이닝: 데이터에서 패턴을 찾는 활동으로, 빅데이터 기술 위에서도 수행된다. 데이터 마이닝과 머신러닝의 차이를 참고한다.
  • 확률적 경사하강법: 배치 방식과의 비교는 Machine Learning 2와 경사하강법에서 다룬다.
  • 분산과 데이터 양: 데이터를 늘리는 것은 과적합을 줄이는 기본 수단이다. 과적합을 참고한다.
  • MapReduce: 작업을 분할(map)하고 결과를 합치는(reduce) 분산 처리 모델로, 빅데이터 처리의 대표적인 기초 아이디어이다.

꼬리 질문

Q. 데이터가 메모리에 다 들어가지 않으면 어떻게 학습하나요? 미니배치로 디스크에서 나누어 읽는 온라인 학습을 먼저 고려하고, 표본으로도 충분한지 학습 곡선으로 확인한다. 그래도 부족하면 데이터를 여러 장비에 나누어 분산 학습을 한다.

Q. 데이터가 많으면 복잡한 모델이 항상 유리한가요? 데이터가 많으면 복잡한 모델의 과적합 위험은 줄어든다. 하지만 입력에 예측 신호가 적으면 어떤 모델도 나아지지 않으며, 학습과 추론 비용도 함께 고려해야 한다.