면접 답변
처음부터 정답 알고리즘을 고르기보다, 목표를 정하고 후보를 실험으로 비교하는 절차를 따릅니다. 먼저 사업 목표를 지표로 바꾸고, 데이터의 크기와 특징 유형, 클래스 불균형, 결측을 확인합니다. 그다음 가장 단순한 기준 모델을 세우고, 해석 가능성이나 지연 시간 같은 제약에 맞는 후보를 교차 검증으로 비교한 뒤 튜닝하고 오류를 분석합니다. 테스트 집합은 마지막에 한 번만 사용합니다. 이유는 어떤 알고리즘도 모든 문제에서 최선일 수 없고, 데이터와 비용 구조에 따라 답이 달라지기 때문입니다. 예를 들어 표 형태의 사기 탐지라면 정확도 대신 PR-AUC로 평가하고, 로지스틱 회귀를 기준선으로 삼아 gradient boosting과 비교하며, 놓친 사기의 비용에 맞춰 분류 임곗값을 정합니다.
자세한 설명
1. 문제와 지표 정의
- 이진, 다중 클래스, 다중 레이블 중 무엇인가?
- 오류의 비용은 어떤가? 거짓 음성과 거짓 양성의 비용이 다르면 정확도는 적절하지 않다.
- 확률 자체가 필요한가, 순위만 필요한가, 클래스 판정이 필요한가?
오류 비용을 알면 임곗값도 계산할 수 있다. 양성 확률을 \(p\), 거짓 양성 비용을 \(c_{FP}\), 거짓 음성 비용을 \(c_{FN}\)이라 하자. 양성으로 판정했을 때의 기대 비용 \((1 - p) c_{FP}\)가 음성으로 판정했을 때의 기대 비용 \(p \, c_{FN}\)보다 작으면 양성으로 판정한다.
\[p > \frac{c_{FP}}{c_{FP} + c_{FN}}\]거짓 음성이 거짓 양성보다 9배 비싸면 임곗값은 \(1 / (1 + 9) = 0.1\)이다. 모델이 잘 보정된 확률을 낸다는 가정이 필요하다.
2. 데이터 파악
표본 수와 특징 수, 수치형과 범주형의 비율, 결측, 클래스 분포를 확인한다. 시간에 따른 변화나 같은 사용자의 반복 등장처럼 분할 방식에 영향을 주는 구조, 그리고 예측 시점에 알 수 없는 값이 특징에 섞이는 데이터 누수(data leakage)도 이 단계에서 찾는다.
3. 평가 체계 세우기
학습, 검증, 테스트로 나누거나 교차 검증을 쓴다. 불균형이면 층화 분할을, 시계열이면 시간순 분할을, 같은 사용자가 반복되면 그룹 분할을 사용한다. 전처리는 학습 데이터에만 맞추어야 한다.
4. 기준 모델
항상 다수 클래스를 답하는 분류기와 로지스틱 회귀 같은 단순한 모델의 성능을 먼저 잰다. 예를 들어 양성이 5%이면 모두 음성으로 답해도 정확도가 95%이므로, 95%라는 숫자만으로는 좋은 모델인지 알 수 없다.
5. 제약에 맞는 후보 선정
| 상황 | 먼저 시도할 후보 | 이유 |
|---|---|---|
| 표 형태, 혼합 특징 | Gradient boosting, 랜덤 포레스트 | 전처리 적음, 비선형성과 상호작용 처리 |
| 해석이 필수 | 로지스틱 회귀, 얕은 트리 | 계수나 규칙을 설명 가능 |
| 고차원 희소 데이터 (텍스트) | 선형 SVM, 로지스틱 회귀, 나이브 베이즈 | 고차원에서 선형 모델이 잘 동작 |
| 이미지, 음성, 원문 텍스트 | 사전학습 신경망 미세조정 | 표현을 학습, 적은 데이터도 전이 학습으로 보완 |
| 표본이 매우 적음 | 정규화된 단순 모델 | 분산 억제 |
| 추론 지연 제한 | 선형 모델, 작은 트리 앙상블 | 예측 비용 작음 |
이 표는 출발점일 뿐이며 결론은 실험이 정한다.
6. 비교와 튜닝
후보를 같은 분할에서 비교하고, 폴드 간 편차도 함께 본다. 차이가 편차보다 작으면 더 단순한 모델을 택할 이유가 된다. 학습 오차와 검증 오차를 함께 보아 편향과 분산 중 무엇이 문제인지 진단하고, 하이퍼파라미터를 조정한다.
7. 오류 분석과 최종 평가
틀린 사례를 묶어서 살펴보고 특징이나 데이터로 개선한다. 임곗값을 정하고 확률 보정을 확인한 다음, 모델과 설정을 모두 고정하고 테스트 집합으로 한 번만 평가한다. 배포 후에는 성능과 입력 분포를 모니터링한다.
관련 개념
- 공짜 점심 없음 정리: 모든 문제에 걸쳐 최선인 알고리즘은 없다는 결과이다. 후보를 실험으로 비교해야 하는 이론적 근거가 된다.
- 교차 검증: 데이터를 번갈아 검증에 사용해 모델을 비교한다. Machine Learning 11에서 다룬다.
- 데이터 분할: 학습, 검증, 테스트의 역할은 Training Set과 Test Set의 차이와 데이터 분할 비율에서 다룬다.
- 평가 지표: 불균형 데이터에 맞는 지표는 유용한 metric과 ROC curve를 참고한다.
- 알고리즘별 특성: 후보군의 작동 방식은 인기 있는 알고리즘 5가지에서 비교한다.
꼬리 질문
Q. 클래스 불균형이 심하면 알고리즘 선택이 달라지나요? 알고리즘보다 지표와 임곗값이 먼저 바뀐다. PR-AUC나 재현율 기준 정밀도로 평가하고, 클래스 가중치나 임곗값 조정을 시도한다. 리샘플링은 학습 폴드에만 적용해야 하며, 확률 보정이 깨질 수 있다.
Q. 복잡한 모델의 성능이 조금 더 높다면 그 모델을 쓰나요? 차이가 폴드 간 편차보다 크고 실제 사업 가치로 이어지는지 먼저 본다. 학습과 추론 비용, 해석, 유지 보수 부담까지 더해 판단하며, 비슷하면 단순한 모델을 택한다.
Q. 검증 성능은 좋은데 배포 후 나빠지면 무엇을 의심하나요? 가장 먼저 데이터 누수와 분포 변화를 의심한다. 그다음 학습과 서비스 환경의 특징 계산 불일치를 확인한다. 분할 방식이 실제 사용 상황을 반영했는지도 점검한다.