3 Inseok Kong Schedule

Q-9. Inductive Machine Learning과 Deductive Machine Learning을 비교해 설명해 주세요.

귀납적 학습은 사례에서 일반 규칙을 추정하므로 틀릴 수 있고, 연역적 학습은 이미 아는 지식에서 결론을 논리적으로 끌어내므로 전제가 참이면 결론도 참이며, 오늘날의 머신러닝은 대부분 귀납적이다.

면접 답변

귀납적 학습은 구체적인 사례들에서 일반 규칙을 추정하는 것이고, 연역적 학습은 이미 가진 일반 지식에서 논리적으로 결론을 끌어내는 것입니다. 그래서 귀납의 결론은 새 데이터에서 틀릴 수 있지만, 연역의 결론은 전제가 참이면 반드시 참입니다. 다만 현대 머신러닝은 거의 전부 귀납적 학습이고, “deductive machine learning”은 널리 쓰는 용어가 아니어서 설명 기반 학습 같은 고전적인 기호 AI 연구를 가리키는 말로 이해하는 편이 정확합니다. 예를 들어 사진과 레이블을 보고 고양이 분류기를 만드는 것은 귀납이고, “모든 포유류는 척추동물이다”와 “고양이는 포유류이다”에서 “고양이는 척추동물이다”를 도출하는 것은 연역입니다. 연역은 전제에 이미 함축된 지식을 끌어내는 것이므로, 세상에 대한 새로운 지식을 데이터에서 얻으려면 귀납이 필요합니다.

자세한 설명

비교

  귀납적 학습 연역적 학습
추론 방향 사례 → 일반 규칙 일반 지식 → 구체적 결론
입력 데이터 규칙과 사실로 된 지식 베이스
결론의 확실성 틀릴 수 있음, 확률적 전제가 참이면 반드시 참
새 지식 관측 범위를 넘는 추정을 만듦 전제에 이미 함축된 것만 도출
약점 데이터 품질, 과적합, 분포 변화 지식을 사람이 구축해야 함, 잡음에 약함
예 신경망, 의사결정나무, SVM 설명 기반 학습, 논리 추론

귀납에는 왜 가정이 필요한가

데이터만으로는 일반화가 논리적으로 정해지지 않는다. 입력이 이진 변수 3개이면 가능한 입력은 \(2^3 = 8\)가지이고, 이를 0 또는 1로 보내는 함수는 다음 수만큼 있다.

\[2^{2^3} = 256\]

서로 다른 입력 5개의 답을 관측했다고 하자. 남은 입력 3개의 답은 아직 자유로우므로 데이터와 모순되지 않는 함수가 \(2^{3} = 8\)개 남는다. 이 8개 중 무엇을 고를지를 데이터는 말해 주지 않는다. 일반적으로 입력 변수가 \(d\)개이고 서로 다른 관측이 \(m\)개이면 \(2^{2^d - m}\)개가 남는다.

선형성, 매끄러움, 짧은 규칙 선호처럼 후보 중 하나를 고르는 기준이 귀납적 편향(inductive bias)이다. 문제에 맞는 편향이 있어야 일반화가 가능하며, CNN의 지역성과 가중치 공유도 그 예이다. 공짜 점심 없음 정리(Wolpert, 1996)는 모든 문제에 걸쳐 평균하면 어떤 학습 알고리즘도 다른 것보다 낫지 않다는 내용으로, 같은 사실을 다른 각도에서 보여 준다.

연역적 학습이 실제로 가리키는 것

연역은 전제에 없던 사실을 만들지 않으므로 “연역으로 학습한다”는 말은 어색해 보인다. 그러나 설명 기반 학습(explanation-based learning)(Mitchell, Keller, Kedar-Cabelli, 1986)은 다음과 같은 의미에서 학습이다. 사례 하나를 도메인 이론으로 증명한 뒤 그 증명을 일반화된 규칙으로 저장한다. 새로운 사실을 알게 되는 것은 아니지만, 다음부터 같은 추론을 빨리 할 수 있다. 원리적으로 이미 알던 것을 쓰기 쉬운 형태로 바꾸는 학습이다.

흔한 혼동

  • 추론 단계와 혼동: 학습된 모델을 새 입력에 적용하는 과정은 규칙을 적용한다는 점에서 연역과 닮았지만, 그 규칙 자체가 귀납으로 얻은 것이므로 결과의 보장은 없다. 이를 “deductive machine learning”이라고 부르지는 않는다.
  • 귀납 논리 프로그래밍(ILP)과 혼동: 사례와 배경 지식에서 논리 규칙을 학습하므로 표현은 논리이지만 방법은 귀납이다.
  • 변환적 학습(transductive learning)과 혼동: 귀납적 학습과 함께 자주 대비되는 용어이지만, 일반 규칙 없이 주어진 특정 테스트 점들의 답만 구한다는 뜻으로 연역과는 다른 축이다.

관련 개념

  • 일반화: 귀납적 학습의 목표이자 위험이다. 일반화가 잘 안 되는 대표적인 경우가 과적합이다.
  • MAP와 사전 분포: 사전 분포는 귀납적 편향을 확률로 표현하는 방법이며 MAP 추정은 정규화와 연결된다. Machine Learning 11에서 다룬다.
  • 규칙 기반 AI: 연역 추론은 전문가 시스템 같은 고전 AI의 핵심이다. AI와 ML의 차이를 참고한다.

꼬리 질문

Q. 귀납으로 얻은 모델을 믿을 수 있는 근거는 무엇인가요? 학습 때와 같은 분포에서 나온 독립적인 테스트 데이터로 측정한 성능이다. 진리를 보장하지는 않으며 분포가 같다는 가정 아래의 통계적 보장이다. 그래서 배포 후에도 분포 변화를 감시해야 한다.

Q. 두 방식을 결합할 수 있나요? 그렇다. 신경망에 물리 법칙을 손실 항으로 넣는 경우가 있고, 신경-기호(neuro-symbolic) 연구는 학습한 인식과 논리 추론을 결합한다. 지식으로 가설 공간을 좁히면 필요한 데이터가 줄어들 수 있다.