Study · Paper Review · Gallery · Formula 1
Blog
Study notes, paper reviews, photos from conferences and travel, and Formula 1 race reports.
Linear Algebra
Linear Algebra video lectures, YouTube
보이는 선형대수학
혁펜하임, YouTube
CS 182 · Deep Learning
UC Berkeley CS 182, Spring 2021 · Sergey Levine
CS 182 · Discussions
UC Berkeley CS 182, Spring 2021 · Worksheets with solutions
CS229 · Machine Learning
Stanford CS229, Spring 2022 · Tengyu Ma, Christopher Ré
6.006 · Introduction to Algorithms
MIT 6.006, Spring 2020 · Erik Demaine, Jason Ku, Justin Solomon
PyTorch for Deep Learning
freeCodeCamp · Zero to Mastery PyTorch · Daniel Bourke
파이토치 한번에 끝내기
이수안컴퓨터연구소 (SuanLab), YouTube · 이수안
Deep Learning & PyTorch
딥러닝 파이토치 교과서 (길벗, thebook.io) · 서지영
ROB 345 · Intro to Robotics
Princeton ROB 345 / 549, Fall 2026 · Anirudha Majumdar
Visual Kernel
SEE Matrix, YouTube
임커밋
딥러닝 / 머신러닝 시각화 강의, YouTube
Knowledge
통계, 머신러닝, 선형대수 면접 질문과 관련 개념
Statistics / Probability 32
-
Q-19. A/B 테스트란 무엇인가요?
자세한 설명 보기A/B 테스트는 사용자를 무작위로 기존안 A와 변경안 B에 나누어 같은 기간 동안 지표를 비교하는 온라인 통제 실험입니다. 무작위 배정이 핵심인데, 다른 조건이 평균적으로 같아지므로 지표 차이를 변경의 인과 효과로 해석할 수 있기 때문입니다. 머신러닝에서는 오프라인 지표가 좋아진 새 모델이 실제 클릭이나 매출도 개선하는지 확인할 때 씁니다. 진행 순서는 지표와 최소 효과 크기를 정하고, 필요한 표본 수를 계산하고, 정해 둔 기간 동안 실험한 뒤 가설 검정과 신뢰구간으로 판단하는 것입니다. 예를 들어 각 1만 명에서 전환율이 10%와 10.8%로 나와도 p값이 약 0.064이므로 유의수준 5%에서는 차이가 있다고 결론 내리지 않습니다. 또 중간 결과를 계속 들여다보다 유의해지는 순간 멈추면 거짓 양성이 크게 늘어나므로 주의해야 합니다.
-
Q-34. 베이즈 정리(Bayes' Theorem)를 정의해 주세요
자세한 설명 보기베이즈 정리는 조건부 확률의 방향을 뒤집는 공식으로, 어떤 증거를 관측했을 때 가설이 참일 확률을 사전 확률과 가능도로 계산합니다. 우리가 알고 싶은 것은 “이 증거를 봤을 때 가설이 맞을 확률”인데, 실제로 추정하기 쉬운 것은 “가설이 맞을 때 이 증거가 나올 확률”인 경우가 많기 때문에 유용합니다. 사후 확률은 가능도와 사전 확률의 곱에 비례하고, 증거의 전체 확률로 나누어 정규화합니다. 예를 들어 유병률이 1%인 질병에 민감도 99%, 위양성률 5%인 검사를 쓰면, 양성이 나와도 실제 환자일 확률은 약 17%에 불과합니다. 환자가 워낙 드물어서 건강한 사람에게서 나오는 위양성이 더 많기 때문입니다. 머신러닝에서는 나이브 베이즈 분류기와 MAP 추정, 베이지안 추론의 기반이 됩니다.
-
Q-35. 공분산(Covariance)과 상관계수(Correlation)의 차이는 무엇인가요?
자세한 설명 보기공분산은 두 변수가 함께 움직이는 방향과 정도를 나타내는 값이고, 상관계수는 공분산을 두 표준편차로 나누어 단위를 없앤 값입니다. 공분산은 부호로 방향을 알려 주지만 크기가 변수의 단위에 따라 달라져서, 값만 보고 관계의 강도를 비교할 수 없습니다. 반면 피어슨 상관계수는 항상 -1과 1 사이이고 단위를 바꿔도 변하지 않아 서로 다른 변수 쌍을 비교할 수 있습니다. 예를 들어 키를 미터에서 센티미터로 바꾸면 공분산은 100배가 되지만 상관계수는 그대로입니다. 다만 둘 다 선형 관계만 측정하기 때문에, 값이 0이라고 해서 두 변수가 독립인 것은 아닙니다.
-
Q-39. Likelihood, Prior, Posterior는 각각 무엇을 의미하나요?
자세한 설명 보기Prior는 데이터를 보기 전 파라미터에 대한 믿음이고, Likelihood는 특정 파라미터 값에서 관측 데이터가 나올 가능성이며, Posterior는 데이터를 본 뒤 갱신된 믿음입니다. 세 값은 베이즈 정리로 연결되어, Posterior는 Likelihood와 Prior의 곱에 비례합니다. 주의할 점은 Likelihood가 데이터를 고정한 파라미터의 함수이고, 파라미터에 대한 확률 분포가 아니라는 것입니다. 예를 들어 앞면 확률이 0.5쯤이라고 믿는 Prior를 두고 동전을 10번 던져 앞면이 7번 나오면, Posterior는 0.5와 0.7 사이로 이동합니다. 데이터가 많아질수록 Likelihood의 영향이 커지고 Prior의 영향은 줄어듭니다.
-
Q-40. 연속형 변수와 범주형 변수 간의 상관 관계는 어떻게 측정하나요?
자세한 설명 보기범주의 수와 데이터 분포에 따라 측정 방법을 고릅니다. 범주가 두 개면 점이연 상관계수(point-biserial correlation)를, 세 개 이상이면 ANOVA와 함께 에타 제곱(eta squared)을 주로 사용합니다. 명목형 범주에 임의의 번호를 붙여 피어슨 상관을 계산하면 번호를 붙이는 방식에 따라 값이 달라지기 때문에 이 방법은 쓰면 안 됩니다. 에타 제곱은 전체 분산 중 그룹 간 차이가 설명하는 비율이라서, 예를 들어 0.875이면 분산의 87.5%가 그룹으로 설명된다는 뜻입니다. 다만 에타 제곱은 방향이 없고, 평균 차이만 보며, 표본이 작으면 과대 추정되므로 평균 차이나 분포 그림과 함께 해석합니다. 이상치가 많거나 정규성이 의심되면 Kruskal-Wallis 같은 순위 기반 방법을, 비선형 의존성까지 보려면 상호 정보량을 고려합니다.
-
Q-44. Central Limit Theorem이란 무엇인가요?
자세한 설명 보기중심극한정리는 독립이고 같은 분포를 따르며 분산이 유한한 표본의 평균이, 표본 크기가 커질수록 원래 분포의 모양과 상관없이 정규 분포에 가까워진다는 정리입니다. 평균이 μ, 분산이 σ²인 분포라면 표본 평균은 근사적으로 평균 μ, 분산 σ²/n인 정규 분포를 따릅니다. 많은 작은 독립적 변동이 더해지면 치우침이 서로 상쇄되어 분포의 세부 모양이 사라지기 때문입니다. 예를 들어 지수 분포는 오른쪽으로 크게 치우쳐 있지만, 30개씩 뽑아 평균을 내면 그 평균들의 히스토그램은 정규 분포와 꽤 비슷해집니다. 주의할 점은 데이터 자체가 정규 분포가 되는 것이 아니라 평균의 분포가 정규에 가까워진다는 것이고, 코시 분포처럼 분산이 유한하지 않으면 성립하지 않는다는 것입니다.
-
Q-45. Central Limit Theorem은 어디에 쓸 수 있나요?
자세한 설명 보기중심극한정리는 모집단 분포를 몰라도 평균이나 합의 불확실성을 정규 분포로 계산하고 싶을 때 씁니다. 대표적인 곳이 신뢰구간과 가설 검정이고, A/B 테스트의 전환율 비교도 여기에 해당합니다. 전환 여부 하나하나는 0 또는 1이어서 정규 분포와 전혀 다르지만, 수천 명의 평균은 근사적으로 정규 분포를 따르므로 z 검정을 쓸 수 있습니다. 머신러닝에서는 테스트 정확도의 오차 범위를 내거나 몬테카를로 추정의 오차를 가늠할 때 활용합니다. 다만 꼬리가 아주 두껍거나 표본이 서로 의존하면 근사가 나빠질 수 있으므로, 그런 경우에는 조건을 먼저 확인하고 필요하면 부트스트랩 같은 대안을 함께 씁니다.
-
Q-46. 큰수의 법칙이란 무엇인가요?
자세한 설명 보기큰수의 법칙은 독립이고 같은 분포에서 뽑은 표본의 평균이, 표본이 많아질수록 참 기댓값으로 수렴한다는 정리입니다. 표본 평균의 분산이 σ²/n으로 줄어들기 때문에, 분산이 유한하면 평균이 참값 근처로 모이는 것을 쉽게 보일 수 있습니다. 예를 들어 공정한 동전을 10번 던지면 앞면 비율이 0.7일 수 있어도, 1만 번 던지면 0.5에 매우 가까워집니다. 머신러닝에서는 학습 데이터의 평균 손실로 기대 손실을 근사하는 근거가 되고, 몬테카를로 추정도 이 법칙에 기대고 있습니다. 흔한 오해는 앞면이 많이 나왔으니 다음에 뒷면이 나올 차례라는 것인데, 각 시행은 독립이고 과거의 편차가 보상되는 것이 아니라 표본이 늘면서 비율 안에서 희석되는 것입니다.
-
Q-47. 확률이랑 통계랑 다른 점은 무엇인가요?
자세한 설명 보기확률과 통계의 핵심 차이는 추론의 방향입니다. 확률은 모델을 알고 있을 때 어떤 데이터가 나올지를 계산하고, 통계는 데이터를 보고 그것을 만들어 낸 모델이나 파라미터를 추정합니다. 예를 들어 공정한 동전을 10번 던져 앞면이 7번 나올 확률을 구하는 것은 확률 문제이고, 10번 중 7번 앞면이 나온 것을 보고 이 동전이 공정한지 판단하는 것은 통계 문제입니다. 확률 쪽의 답은 가정이 맞으면 하나로 정해지지만, 통계 쪽의 답에는 항상 불확실성이 남습니다. 머신러닝은 데이터로 모델을 학습하니 통계의 방향이지만, 확률 모델과 우도 계산을 도구로 쓰므로 두 분야를 모두 사용합니다.
-
Q-48. Marginal Distribution이란 무엇인가요?
자세한 설명 보기주변 분포는 여러 변수의 결합 분포에서 일부 변수만 남기고, 나머지 변수를 모든 값에 대해 더하거나 적분해서 얻은 분포입니다. 나머지 변수가 무슨 값이든 상관없이 관심 변수만 볼 때의 분포라는 의미입니다. 예를 들어 날씨와 우산 사용의 결합 확률표가 있을 때, 우산 여부별 확률을 더해 비 올 확률만 구하면 그것이 날씨의 주변 분포입니다. 표의 가장자리, 즉 margin에 합계를 적던 데서 이름이 유래했습니다. 머신러닝에서는 잠재 변수 모델의 p(x)를 구할 때 잠재 변수를 주변화하는 계산으로 자주 등장합니다. 주의할 점은 주변 분포만으로는 변수 사이의 관계를 알 수 없고, 결합 분포를 복원할 수도 없다는 것입니다.
-
Q-49. Conditional Distribution이란 무엇인가요?
자세한 설명 보기조건부 분포는 어떤 변수의 값을 알게 되었을 때 다른 변수가 따르는 분포입니다. 결합 확률을 조건의 주변 확률로 나누어 정의하는데, 조건에 맞는 부분만 남긴 뒤 합이 1이 되도록 다시 맞추는 연산입니다. 예를 들어 평소 우산을 쓸 확률이 45%여도, 비가 온다는 것을 알면 80%로 달라질 수 있습니다. 지도 학습의 분류와 회귀는 대부분 입력 x가 주어졌을 때 y의 조건부 분포나 그 평균을 학습하는 문제라고 볼 수 있습니다. 또한 A가 주어졌을 때 B의 확률과 B가 주어졌을 때 A의 확률은 일반적으로 다르므로, 둘을 혼동하지 않아야 합니다.
-
Q-50. Bias란 무엇인가요?
자세한 설명 보기통계에서 편향은 추정량의 기댓값과 참값의 차이입니다. 표본을 여러 번 뽑아 추정해도 평균적으로 참값에서 한쪽으로 벗어나는 체계적인 오차를 의미하며, 우연히 흔들리는 분산과는 다릅니다. 예를 들어 표본 분산을 N으로 나누면 평균적으로 참 분산보다 σ²/N만큼 작게 나오는데, 이것이 편향입니다. 다만 이 단어는 맥락에 따라 의미가 달라서, 모델이 너무 단순해서 생기는 오차, 데이터 수집의 치우침, 신경망의 절편 항을 뜻하기도 합니다. 그래서 면접에서는 어떤 의미의 편향인지 먼저 구분해서 답하는 것이 좋습니다.
-
Q-51. Biased/Unbiased estimation의 차이는 무엇인가요?
자세한 설명 보기불편 추정량은 기댓값이 참값과 정확히 같은 추정량이고, 편향 추정량은 그 기댓값이 참값과 다른 추정량입니다. 즉 표본을 무수히 다시 뽑아 평균을 내면 불편 추정량은 참값에 맞고, 편향 추정량은 한쪽으로 벗어납니다. 대표적인 예로 분산을 구할 때 N-1로 나누면 불편이고, N으로 나누면 참 분산을 약간 작게 추정하는 편향 추정량입니다. 다만 불편하다고 해서 한 번의 추정이 정확하다는 뜻은 아니고, 표본이 커질 때 참값으로 수렴한다는 일치성과도 다른 개념입니다. 실제로 N으로 나눈 분산은 편향이 있어도 일치 추정량이고, 표본의 첫 번째 값만 쓰는 평균 추정은 불편해도 일치 추정량이 아닙니다.
-
Q-52. Bias, Variance, MSE란 무엇이고 그들의 관계는 무엇인가요?
자세한 설명 보기추정량 기준으로 말하면, 편향은 추정량의 기댓값이 참값에서 벗어난 정도, 분산은 추정량이 자신의 기댓값 주변에서 흔들리는 정도, MSE는 추정량과 참값의 제곱 오차의 기댓값입니다. 세 값의 관계는 MSE가 편향의 제곱과 분산의 합이라는 식으로 정확히 정리됩니다. 따라서 평균적인 오차를 줄이는 방법은 불편하게 만드는 것만이 아니며, 편향을 약간 늘려도 분산이 더 줄면 MSE는 작아집니다. 예를 들어 표본 평균에 1보다 작은 값을 곱해 0 쪽으로 축소하면 편향은 생기지만 분산이 줄어, 참값이 0에 가까울 때 MSE가 더 작아질 수 있습니다. 예측 모델에서도 같은 분해를 쓸 수 있는데, 이때는 줄일 수 없는 노이즈 항이 하나 더 붙습니다.
-
Q-53. Sample Variance란 무엇인가요?
자세한 설명 보기표본 분산은 표본의 값들이 표본 평균에서 얼마나 퍼져 있는지를 재는 값으로, 제곱 편차의 합을 N-1로 나누어 구합니다. 모집단 분산은 보통 알 수 없으므로 이를 표본으로 추정하는 것이 목적입니다. 모집단 평균 대신 표본 평균을 쓰면 퍼짐이 작게 측정되는데, N-1로 나누면 그 부분이 보정되어 불편 추정량이 됩니다. 예를 들어 2, 4, 4, 4, 5, 5, 7, 9의 평균은 5이고 제곱 편차의 합은 32이므로 표본 분산은 32를 7로 나눈 약 4.57입니다. 이 값은 데이터 하나하나의 퍼짐을 나타내므로, 표본 평균의 불확실성을 나타내는 평균의 분산 σ²/N과는 구분해야 합니다.
-
Q-54. Variance를 구할 때 N 대신에 N-1로 나눠주는 이유는 무엇인가요?
자세한 설명 보기N-1로 나누는 이유는 모평균을 모르고 표본 평균으로 대신할 때 분산 추정량을 불편하게 만들기 위해서입니다. 표본 평균은 바로 그 표본에 대해 제곱 편차의 합을 최소로 만드는 값이라서, 참 평균을 썼을 때보다 편차가 작게 측정됩니다. 계산해 보면 제곱 편차 합의 기댓값이 Nσ²가 아니라 (N-1)σ²가 되므로 N-1로 나누어야 정확히 σ²가 나옵니다. 자유도로 설명하면, 평균을 추정하는 데 정보를 하나 썼기 때문에 독립적으로 움직일 수 있는 편차는 N-1개입니다. 예를 들어 분산이 4인 분포에서 5개씩 뽑아 N으로 나누면 평균적으로 3.2가 되고, N-1로 나누면 4가 됩니다. 다만 이것은 불편성을 위한 선택일 뿐이고, 모평균을 알면 N으로 나누는 것이 맞습니다.
-
Q-55. Gaussian Distribution에서 MLE와 Sample Variance 중에 어떤 걸 사용해야 하나요?
자세한 설명 보기어느 하나가 항상 옳은 것은 아니고 목적에 따라 다릅니다. 평균은 둘 다 표본 평균으로 같고, 차이는 분산의 분모입니다. MLE는 N으로 나누어 작게 치우치고, 표본 분산은 N-1로 나누어 불편합니다. 그런데 평균 제곱 오차를 기준으로 하면 오히려 MLE가 표본 분산보다 낫고, 정규 분포에서는 N+1로 나누는 것이 가장 낫습니다. 예를 들어 N이 5이고 σ²이 1이면 MSE가 N-1일 때 0.5, N일 때 0.36, N+1일 때 약 0.33입니다. 그래서 평균의 신뢰구간이나 t 검정처럼 추론을 하는 경우에는 표본 분산을 쓰고, GMM처럼 우도를 최적화하는 모델의 일부라면 MLE를 쓰는 것이 자연스럽습니다. 표본이 충분히 크면 셋의 차이는 거의 없어서 실무에서는 큰 문제가 되지 않습니다.
-
Q-56. Unbiased Estimation은 무조건 좋은가요?
자세한 설명 보기무조건 좋은 것은 아닙니다. 불편하다는 것은 평균적으로 맞는다는 뜻일 뿐이어서, 분산이 크면 실제 한 번의 추정은 크게 빗나갈 수 있습니다. 오차는 편향의 제곱과 분산의 합이므로, 약간의 편향을 받아들이고 분산을 크게 줄이는 편이 더 정확할 때가 많습니다. 대표적인 예가 정규화인데, 릿지 회귀는 편향이 있지만 분산이 줄어 불편한 최소제곱법보다 예측이 좋아질 수 있습니다. 또 어떤 대상은 불편 추정량이 아예 존재하지 않거나, 존재해도 참값이 될 수 없는 엉뚱한 값을 내놓기도 합니다. 다만 평균을 여러 번 내거나 인과 효과를 보고할 때처럼 편향이 쌓이면 곤란한 경우에는 불편성이 여전히 중요합니다.
-
Q-57. Unbiased Estimation의 장점은 무엇인가요?
자세한 설명 보기불편 추정의 가장 큰 장점은 체계적인 오차가 없어서 독립적인 추정을 평균 낼수록 오차를 얼마든지 줄일 수 있다는 것입니다. 편향 추정량은 평균을 아무리 내도 편향만큼의 오차가 남습니다. 예를 들어 여러 실험의 결과를 합치는 메타 분석이나 미니배치 기울기의 누적에서는 작은 편향도 쌓여 결론을 왜곡할 수 있습니다. 또한 사전 가정 없이 평균적으로 참값을 겨냥한다는 점 덕분에 결과를 설명하기 쉽고, 효과 크기를 보고할 때 객관적인 기준이 됩니다. 가우스-마르코프 정리나 크라메르-라오 하한처럼 최적성을 따지는 이론도 사용할 수 있습니다. 다만 한 번의 추정에서는 편향 추정량보다 오차가 클 수 있으므로, 장점이 살아나는 상황인지를 함께 봐야 합니다.
-
Q-58. Binomial, Bernoulli, Multinomial, Multinoulli란 무엇인가요?
자세한 설명 보기네 분포는 결과의 가짓수와 시행 횟수라는 두 기준으로 정리할 수 있습니다. Bernoulli는 결과가 두 가지인 시행을 한 번 하는 분포이고, Binomial은 그 시행을 n번 독립으로 반복했을 때 성공 횟수의 분포입니다. Multinoulli는 결과가 K가지인 시행을 한 번 하는 분포로 Categorical 분포라고도 하고, Multinomial은 그 시행을 n번 반복했을 때 결과별 횟수의 분포입니다. 예를 들어 동전을 한 번 던지면 Bernoulli, 열 번 던져 앞면 수를 세면 Binomial, 주사위를 한 번 던지면 Multinoulli, 열 번 던져 눈별 횟수를 세면 Multinomial입니다. 머신러닝에서는 이진 분류의 출력을 Bernoulli로, 다중 클래스 분류의 출력을 Multinoulli로 모델링하며, 이 가정에서 음의 로그 가능도를 구하면 cross-entropy 손실이 나옵니다.
-
Q-59. Beta Distribution과 Dirichlet Distribution이란 무엇인가요?
자세한 설명 보기Beta 분포는 0과 1 사이의 값, 즉 확률 하나에 대한 분포이고, Dirichlet 분포는 합이 1인 확률 벡터에 대한 분포로 Beta를 여러 차원으로 일반화한 것입니다. 쓰임새는 주로 베이즈 추론의 사전 분포입니다. Beta는 Bernoulli와 Binomial의, Dirichlet은 Multinoulli와 Multinomial의 켤레 사전 분포여서 사후 분포를 파라미터 덧셈만으로 구할 수 있기 때문입니다. 파라미터는 미리 본 가상의 횟수처럼 해석할 수 있습니다. 예를 들어 클릭률에 Beta(2, 8)을 두면 평균이 0.2이고, 클릭 3번과 미클릭 7번을 관측하면 사후 분포는 Beta(5, 15)가 됩니다. 머신러닝에서는 LDA 토픽 모델과 Thompson sampling에서 볼 수 있고, Laplace smoothing도 균등한 Dirichlet 사전 분포의 사후 평균으로 해석됩니다.
-
Q-60. Gamma Distribution은 어디에 쓰이나요?
자세한 설명 보기Gamma 분포는 양수에서 정의되는 오른쪽 꼬리가 긴 분포로, 크게 세 곳에 쓰입니다. 첫째는 대기 시간 모델링입니다. 일정한 비율로 사건이 일어날 때 α번째 사건까지 걸리는 시간이 Gamma 분포를 따르기 때문입니다. 예를 들어 분당 평균 3건의 전화가 오는 콜센터에서 5번째 전화까지의 시간은 평균 약 1.67분인 Gamma 분포입니다. 둘째는 보험 청구액이나 강수량처럼 양수이고 치우친 데이터의 모델링이며, 이때는 Gamma GLM을 자주 씁니다. 셋째는 베이즈 추론의 사전 분포입니다. Poisson 비율과 Gaussian 정밀도의 켤레 사전 분포여서 사후 분포를 닫힌 형태로 구할 수 있습니다.
-
Q-61. Poisson Distribution은 어디에 쓰이나요?
자세한 설명 보기Poisson 분포는 정해진 시간이나 공간에서 사건이 몇 번 일어나는지, 즉 개수 데이터를 모델링할 때 씁니다. 사건들이 서로 독립이고 평균 발생률이 일정하다는 가정에서 나오는 분포이기 때문입니다. 예를 들어 시간당 서버 요청 수, 제품당 결함 수, 하루 고객 문의 수가 대표적입니다. 파라미터는 평균 발생률 λ 하나이며, 평균과 분산이 모두 λ라는 특징이 있습니다. 머신러닝에서는 입력에 따라 λ를 예측하는 Poisson 회귀로 수요나 사건 수를 예측합니다. 다만 실제 데이터는 분산이 평균보다 큰 경우가 많아서, 그럴 때는 음이항 분포를 검토합니다.
-
Q-62. Conjugate Prior란 무엇인가요?
자세한 설명 보기Conjugate prior, 즉 켤레 사전 분포는 특정 가능도와 곱했을 때 사후 분포가 사전 분포와 같은 분포족에 머무는 사전 분포입니다. 장점은 계산입니다. 베이즈 정리의 분모인 적분을 직접 풀 필요 없이 파라미터만 갱신하면 사후 분포를 얻을 수 있습니다. 예를 들어 Binomial 가능도에 Beta 사전 분포를 두면 사후 분포도 Beta이고, 앞면과 뒷면 횟수를 파라미터에 더하기만 하면 됩니다. 그 결과 데이터가 순차적으로 들어와도 쉽게 갱신할 수 있고, 사전 분포의 파라미터를 가상의 관측으로 해석할 수도 있습니다. 다만 켤레성은 계산 편의를 위한 선택이지 사전 지식을 반드시 잘 나타내는 것은 아닙니다. 로지스틱 회귀처럼 켤레 사전 분포가 없는 모델에서는 MCMC나 변분 추론 같은 근사를 씁니다.
-
Q-63. Confidence Interval이란 무엇인가요?
자세한 설명 보기신뢰구간은 표본으로 추정한 값의 불확실성을 범위로 나타낸 것입니다. 95% 신뢰구간이란 같은 방식으로 표본을 뽑아 구간 만들기를 반복하면 그 구간들 중 약 95%가 참값을 포함한다는 뜻입니다. 주의할 점은 이미 계산된 구간 하나에 참값이 들어 있을 확률이 95%라는 뜻이 아니라는 것입니다. 빈도주의에서 참값은 고정된 상수이고, 무작위인 것은 구간 쪽이기 때문입니다. 예를 들어 표본 25개의 평균이 100이고 표준편차가 10이면 95% 신뢰구간은 약 95.9에서 104.1입니다. 표본 수를 4배로 늘리면 폭이 대략 절반으로 줄어듭니다. 머신러닝에서는 테스트 정확도처럼 유한한 데이터로 잰 성능의 오차 범위를 보고할 때 씁니다.
-
Q-64. Total variation이란 무엇인가요?
자세한 설명 보기회귀 분석에서 total variation은 각 관측값이 전체 평균에서 얼마나 벗어나 있는지를 제곱해서 더한 값으로, SST라고 씁니다. 입력을 전혀 쓰지 않고 평균으로만 예측할 때의 오차이므로, 모델이 설명해야 할 변동의 총량이라고 볼 수 있습니다. 표본 분산에 n − 1을 곱한 값과도 같습니다. 절편이 있는 OLS에서는 이 값이 모델이 설명한 부분인 SSR과 설명하지 못한 부분인 SSE의 합으로 정확히 나뉩니다. 예를 들어 SST가 6이고 SSR이 3.6이면 SSE는 2.4이고, 결정계수는 0.6입니다. 참고로 확률 분포 사이의 거리인 total variation distance는 이름만 비슷할 뿐 다른 개념입니다.
-
Q-65. Explained variation이란 무엇인가요?
자세한 설명 보기Explained variation은 총 변동 중 모델이 입력 변수로 설명해 낸 부분으로, 예측값이 전체 평균에서 벗어난 정도를 제곱해 더한 SSR입니다. 평균만으로 예측하던 기준 모델과 비교했을 때 회귀 모델이 줄여 준 오차로 해석할 수 있습니다. 절편이 있는 OLS에서는 총 변동 SST에서 잔차 제곱합 SSE를 뺀 값과 같습니다. 예를 들어 SST가 6이고 SSE가 2.4이면 SSR은 3.6이므로, 변동의 60%를 설명한 것입니다. 다만 여기서 설명했다는 것은 통계적으로 함께 변한다는 뜻이지 인과 관계가 있다는 뜻은 아닙니다. 또 학습 데이터에서는 변수를 추가할수록 SSR이 줄지 않으므로, 값이 커졌다고 곧 더 좋은 모델은 아닙니다.
-
Q-66. Unexplained variation이란 무엇인가요?
자세한 설명 보기Unexplained variation은 총 변동 중 모델이 설명하지 못한 부분으로, 관측값과 예측값의 차이인 잔차를 제곱해 더한 SSE입니다. OLS가 최소화하는 바로 그 값이기도 합니다. 절편이 있는 OLS에서는 총 변동 SST에서 설명된 변동 SSR을 뺀 값과 같습니다. 예를 들어 SST가 6이고 SSE가 2.4이면 변동의 40%가 설명되지 않고 남은 것입니다. 이 값은 순수한 노이즈만 뜻하지 않습니다. 빠진 변수나 잘못된 함수 형태 때문에 남은 오차도 함께 들어 있습니다. 그래서 값의 크기만 보지 않고 잔차에 패턴이 있는지 확인합니다. 또 학습 SSE를 0으로 만드는 것은 쉬운 일이므로, 이 값이 작다고 좋은 모델이라고 볼 수는 없습니다.
-
Q-67. Coefficient of determination(결정계수)이란 무엇인가요?
자세한 설명 보기결정계수 R 제곱은 1에서 SSE를 SST로 나눈 값을 뺀 것으로, 평균으로만 예측하는 기준 모델에 비해 제곱 오차를 얼마나 줄였는지를 나타냅니다. 절편이 있는 OLS의 학습 데이터에서는 총 변동 중 모델이 설명한 비율과 같아 0과 1 사이의 값을 갖습니다. 예를 들어 SST가 6이고 SSE가 2.4이면 R 제곱은 0.6이고, 변동의 60%를 설명했다고 말합니다. 단위가 없어 해석이 쉽지만, 값이 높다고 모델이 올바른 것은 아닙니다. 비선형 패턴이나 이상치가 있어도 값이 높게 나올 수 있고, 학습 데이터에서는 변수를 넣기만 해도 줄어들지 않기 때문입니다. 그래서 잔차를 함께 보고, 조정 결정계수나 검증 데이터의 R 제곱을 확인합니다. 검증 데이터에서는 평균보다 못한 모델이라면 음수가 될 수도 있습니다.
-
Q-68. Total variation distance란 무엇인가요?
자세한 설명 보기Total variation distance는 두 확률 분포 사이의 거리로, 어떤 사건에 대해서든 두 분포가 부여하는 확률이 최대 얼마나 다른지를 나타냅니다. 계산은 두 확률 함수 차이의 절댓값을 합한 뒤 절반으로 나누면 되고, 값은 0에서 1 사이입니다. 예를 들어 세 결과에 대한 분포가 0.5, 0.3, 0.2와 0.2, 0.3, 0.5이면 거리는 0.3입니다. 직관적으로는 표본 하나를 보고 어느 분포에서 왔는지 맞힐 때의 최선의 성능과 직결됩니다. KL divergence와 달리 대칭이고 항상 유한한 진짜 거리입니다. 다만 지지 집합이 겹치지 않으면 얼마나 멀든 항상 1이어서, 그럴 때는 Wasserstein 거리가 더 유용합니다. 참고로 회귀에서의 total variation인 SST와는 이름만 같고 관계가 없습니다.
-
Q-69. P-value란 무엇인가요?
자세한 설명 보기P-value는 귀무가설이 참이라고 가정했을 때 지금 관측한 결과만큼 또는 그보다 더 극단적인 결과가 나올 확률입니다. 값이 작을수록 데이터가 귀무가설과 잘 맞지 않는다는 뜻이고, 미리 정한 유의수준보다 작으면 귀무가설을 기각합니다. 예를 들어 공정한 동전을 100번 던져 앞면이 60번 이상 또는 40번 이하로 나올 확률은 약 0.057이므로, 앞면이 60번 나왔다면 유의수준 5%에서 기각하지 못합니다. 가장 흔한 오해는 이 값을 귀무가설이 참일 확률로 읽는 것인데, 그렇지 않습니다. 또 효과의 크기나 중요성을 나타내지도 않습니다. 표본이 매우 크면 아주 작은 차이도 유의하게 나오기 때문입니다. 그래서 효과 크기와 신뢰구간을 함께 보고하고, 여러 번 검정했다면 다중 비교도 보정해야 합니다.
-
Q-70. Likelihood-ratio test란 무엇인가요?
자세한 설명 보기우도비 검정은 귀무가설의 제약을 건 모델과 제약을 풀어 준 모델의 최대 가능도를 비교해서, 제약이 데이터와 맞는지 판단하는 가설 검정입니다. 제약을 풀면 가능도는 커지거나 같으므로, 그 증가폭이 우연으로 볼 수 있는 수준을 넘는지가 핵심입니다. 일정한 조건이 맞으면 큰 표본에서 음의 로그 우도비의 2배가 카이제곱 분포를 따르고, 이때 자유도는 제약의 수입니다. 이를 Wilks 정리라고 합니다. 예를 들어 동전을 100번 던져 앞면이 60번이면 공정한 동전이라는 가설에 대한 통계량은 약 4.03이고, 자유도 1의 임계값 3.84를 넘으므로 유의수준 5%에서 기각합니다. 실무에서는 로지스틱 회귀에 변수를 추가한 모델이 의미 있게 좋아졌는지 비교할 때 자주 씁니다. 다만 두 모델이 포함 관계여야 하고, 표본이 작거나 파라미터가 경계에 놓이면 근사가 맞지 않을 수 있습니다.
Machine Learning 75
-
Q-1. 머신러닝이란 무엇인가요?
자세한 설명 보기머신러닝은 사람이 규칙을 직접 작성하는 대신, 데이터로부터 입력과 출력 사이의 규칙을 학습하게 하는 방법입니다. 규칙을 명시하기 어렵거나 너무 많은 문제에서는 예시를 보여 주고 패턴을 찾게 하는 편이 현실적이기 때문입니다. 핵심은 학습 데이터를 외우는 것이 아니라, 처음 보는 데이터에서도 잘 동작하는 일반화입니다. 예를 들어 스팸 필터를 만들 때 금지 단어 목록을 직접 관리하는 대신, 스팸 여부가 표시된 메일을 학습시켜 새로 들어온 메일을 분류하게 합니다. 공격자의 표현이 바뀌어도 새 데이터로 다시 학습하면 규칙을 고칠 수 있다는 점도 장점입니다.
-
Q-2. 지도 학습과 비지도 학습의 핵심 차이점은 무엇인가요?
자세한 설명 보기핵심 차이는 학습 데이터에 정답 레이블이 있는지입니다. 지도 학습은 입력과 정답의 쌍으로 입력에서 정답을 예측하는 함수를 배우고, 비지도 학습은 입력만 보고 군집이나 저차원 구조 같은 데이터 자체의 구조를 찾습니다. 이 차이는 평가 방식의 차이로 이어져서, 지도 학습은 정답과 비교해 성능을 직접 잴 수 있지만 비지도 학습은 정답이 없어 평가가 더 어렵습니다. 예를 들어 스팸 여부가 표시된 메일로 분류기를 만드는 것은 지도 학습이고, 구매 기록만으로 고객을 비슷한 그룹으로 묶는 것은 비지도 학습입니다.
-
Q-3. 딥러닝과 머신러닝의 차이는 무엇인가요?
자세한 설명 보기딥러닝은 머신러닝과 나란히 있는 개념이 아니라 머신러닝의 한 분야입니다. 그래서 정확한 비교 대상은 전통적인 머신러닝 방법이고, 핵심 차이는 특징을 누가 만드느냐입니다. 전통적인 방법은 대개 사람이 설계한 특징을 입력으로 받지만, 딥러닝은 여러 층을 쌓아 원시 데이터에서 특징 표현까지 함께 학습합니다. 예를 들어 이미지 분류에서 예전에는 SIFT 같은 특징을 뽑아 SVM에 넣었다면, CNN은 픽셀에서 바로 학습하면서 앞쪽 층에서는 윤곽선 같은 단순한 패턴을, 뒤쪽 층에서는 더 복잡한 패턴을 잡아냅니다. 다만 딥러닝이 항상 우월한 것은 아니어서, 표 형태 데이터에서는 gradient boosting 같은 트리 앙상블이 강력한 기준선이 됩니다.
-
Q-4. Data mining과 machine learning의 차이점은 무엇인가요?
자세한 설명 보기가장 큰 차이는 목적입니다. 데이터 마이닝은 이미 쌓인 데이터에서 사람이 이해하고 활용할 패턴을 발견하는 데 초점이 있고, 머신러닝은 데이터로 학습해 새로운 입력에서 잘 예측하거나 행동하는 모델을 만드는 데 초점이 있습니다. 다만 칼로 자르듯 나뉘는 분야는 아니고, 데이터 마이닝이 머신러닝 알고리즘을 도구로 쓰는 경우도 많습니다. 예를 들어 판매 기록에서 함께 팔리는 상품 조합을 찾아 매장 진열을 바꾸는 것은 데이터 마이닝에 가깝고, 고객별로 다음에 구매할 상품을 예측하는 모델을 서비스에 배포하는 것은 머신러닝에 가깝습니다.
-
Q-5. 인공지능과 머신러닝의 차이점은 무엇인가요?
자세한 설명 보기인공지능이 더 넓은 개념이고, 머신러닝은 그 안에 포함되는 한 접근법입니다. 인공지능은 추론, 계획, 인식처럼 사람이라면 지능이 필요하다고 볼 일을 해내는 시스템을 만들려는 분야 전체를 가리키고, 머신러닝은 그 방법 중 규칙을 데이터로부터 학습하는 방법입니다. 따라서 머신러닝은 모두 인공지능에 속한다고 흔히 분류하지만, 인공지능이 모두 머신러닝인 것은 아닙니다. 예를 들어 전문가의 지식을 if-then 규칙으로 옮겨 적은 전문가 시스템이나, A* 탐색으로 경로를 찾는 내비게이션은 학습 없이도 인공지능 기법이고, 과거 데이터로 학습한 스팸 필터는 머신러닝입니다.
-
Q-6. 인기 있는 머신러닝 알고리즘 5가지를 말해 보세요.
자세한 설명 보기정해진 다섯 개가 있는 것은 아니지만, 저는 선형·로지스틱 회귀, 의사결정나무와 그 앙상블, 서포트 벡터 머신, K-최근접 이웃, 신경망을 꼽겠습니다. 이 다섯 개를 고른 이유는 각각 모델의 작동 방식이 뚜렷이 다르기 때문입니다. 로지스틱 회귀는 해석하기 쉬운 기준 모델이고, 트리 앙상블은 표 형태 데이터에서 강력하며, SVM은 마진을 최대화하고, KNN은 가까운 예시로 판단하며, 신경망은 이미지나 텍스트에서 표현까지 학습합니다. 예를 들어 표 형태의 이탈 예측이라면 로지스틱 회귀로 기준선을 잡고 gradient boosting과 비교하고, 이미지 분류라면 사전학습된 신경망부터 시도합니다. 비지도 학습까지 포함한다면 K-means도 덧붙이겠습니다.
-
Q-7. 머신러닝과 빅데이터의 차이점은 무엇인가요?
자세한 설명 보기두 개념은 다루는 대상이 다릅니다. 빅데이터는 규모나 속도, 다양성 때문에 기존 도구로 처리하기 어려운 데이터와 그것을 저장하고 처리하는 기술에 관한 개념이고, 머신러닝은 데이터에서 패턴을 학습해 예측하는 방법입니다. 그래서 서로 없이도 존재할 수 있습니다. 예를 들어 수십억 건의 로그를 Spark로 집계해 일별 매출을 내는 일은 머신러닝이 아닌 빅데이터 처리이고, 환자 수백 명의 데이터로 로지스틱 회귀를 학습하는 일은 빅데이터가 아닌 머신러닝입니다. 함께 쓰이는 대표적인 경우는 대규모 사용자 행동 로그로 추천 모델을 학습하는 경우로, 빅데이터 기술이 데이터를 준비하고 머신러닝이 그 위에서 학습합니다.
-
Q-8. 의사결정나무의 장단점은 무엇인가요?
자세한 설명 보기의사결정나무의 가장 큰 장점은 해석이 쉽고 전처리가 적게 든다는 것이고, 가장 큰 단점은 분산이 커서 불안정하고 과적합하기 쉽다는 것입니다. if-then 규칙으로 읽을 수 있고, 값의 순서만 쓰므로 특징 스케일링이 필요 없으며, 비선형성과 특징 간 상호작용도 자동으로 다룹니다. 반면 탐욕적으로 분할하므로 데이터가 조금만 달라져도 구조가 크게 바뀔 수 있고, 축에 평행한 경계만 만들기 때문에 대각선 경계에는 계단 모양으로 근사하게 됩니다. 예를 들어 깊이를 제한하지 않으면 학습 정확도는 100%가 되어도 새 데이터 성능은 나아지지 않습니다. 그래서 실무에서는 깊이 제한이나 가지치기로 복잡도를 조절하거나, 랜덤 포레스트나 gradient boosting 같은 앙상블로 씁니다.
-
Q-9. Inductive Machine Learning과 Deductive Machine Learning을 비교해 설명해 주세요.
자세한 설명 보기귀납적 학습은 구체적인 사례들에서 일반 규칙을 추정하는 것이고, 연역적 학습은 이미 가진 일반 지식에서 논리적으로 결론을 끌어내는 것입니다. 그래서 귀납의 결론은 새 데이터에서 틀릴 수 있지만, 연역의 결론은 전제가 참이면 반드시 참입니다. 다만 현대 머신러닝은 거의 전부 귀납적 학습이고, “deductive machine learning”은 널리 쓰는 용어가 아니어서 설명 기반 학습 같은 고전적인 기호 AI 연구를 가리키는 말로 이해하는 편이 정확합니다. 예를 들어 사진과 레이블을 보고 고양이 분류기를 만드는 것은 귀납이고, “모든 포유류는 척추동물이다”와 “고양이는 포유류이다”에서 “고양이는 척추동물이다”를 도출하는 것은 연역입니다. 연역은 전제에 이미 함축된 지식을 끌어내는 것이므로, 세상에 대한 새로운 지식을 데이터에서 얻으려면 귀납이 필요합니다.
-
Q-11. 분류 문제에 적합한 머신러닝 알고리즘을 선택하려면 어떤 단계를 거쳐야 하나요?
자세한 설명 보기처음부터 정답 알고리즘을 고르기보다, 목표를 정하고 후보를 실험으로 비교하는 절차를 따릅니다. 먼저 사업 목표를 지표로 바꾸고, 데이터의 크기와 특징 유형, 클래스 불균형, 결측을 확인합니다. 그다음 가장 단순한 기준 모델을 세우고, 해석 가능성이나 지연 시간 같은 제약에 맞는 후보를 교차 검증으로 비교한 뒤 튜닝하고 오류를 분석합니다. 테스트 집합은 마지막에 한 번만 사용합니다. 이유는 어떤 알고리즘도 모든 문제에서 최선일 수 없고, 데이터와 비용 구조에 따라 답이 달라지기 때문입니다. 예를 들어 표 형태의 사기 탐지라면 정확도 대신 PR-AUC로 평가하고, 로지스틱 회귀를 기준선으로 삼아 gradient boosting과 비교하며, 놓친 사기의 비용에 맞춰 분류 임곗값을 정합니다.
-
Q-12. Training Set과 Test Set의 차이는 무엇인가요?
자세한 설명 보기Training set은 모델의 매개변수를 학습하는 데 쓰고, Test set은 모든 결정이 끝난 뒤 처음 보는 데이터에서의 성능을 추정하는 데 씁니다. 이렇게 나누는 이유는 학습 데이터에서의 성능이 낙관적이기 때문인데, 데이터를 외우기만 해도 학습 성능은 완벽해질 수 있습니다. 모델을 고르고 튜닝하는 데는 별도의 validation set을 쓰며, Test set을 그 용도로 반복해서 쓰면 Test set에도 맞춰져 성능을 과대평가하게 됩니다. 예를 들어 학습 정확도가 99%인데 테스트 정확도가 80%라면 과적합을 의심합니다. 또한 두 집합이 실제 사용 상황을 반영해야 하므로, 주가 예측이라면 무작위로 섞지 않고 과거로 학습해 미래로 평가합니다.
-
Q-13. 과적합(Overfitting)이란 무엇인가요?
자세한 설명 보기과적합은 모델이 학습 데이터의 일반적인 패턴뿐 아니라 잡음까지 학습해서, 학습 성능은 좋은데 새로운 데이터에서는 성능이 떨어지는 현상입니다. 주된 원인은 데이터 양과 품질에 비해 모델의 표현력이 너무 큰 것입니다. 학습 오차와 검증 오차를 함께 보아서, 학습 오차는 계속 내려가는데 검증 오차가 오르거나 큰 격차를 유지하면 의심합니다. 해결 방법으로는 데이터를 늘리거나, 모델을 단순화하거나, L2 정규화나 드롭아웃, 조기 종료를 적용합니다. 예를 들어 데이터 15개에 12차 다항식을 맞추면 곡선이 거의 모든 점을 지나가지만, 점 사이에서 크게 요동쳐 새 데이터에서는 3차 다항식보다 훨씬 나쁜 예측을 합니다.
-
Q-14. 해시 테이블이란 무엇인가요?
자세한 설명 보기해시 테이블은 키를 해시 함수에 넣어 배열의 인덱스로 바꾸고, 그 위치에 값을 저장하는 자료구조입니다. 위치를 바로 계산하므로 삽입, 삭제, 조회가 평균 O(1)에 끝납니다. 다만 서로 다른 키가 같은 위치로 가는 충돌은 피할 수 없어서 체이닝이나 개방 주소법으로 처리하고, 원소가 많아지면 배열을 키워 다시 배치합니다. 충돌이 한곳에 몰리면 최악의 경우 O(n)까지 느려지고, 순서가 유지되지 않아 범위 검색에도 맞지 않습니다. 예를 들어 Python의
dict가 해시 테이블입니다. 이 자체는 자료구조 질문이지만 머신러닝에서도 고차원 범주형 변수를 고정 길이 벡터로 바꾸는 feature hashing이나, 근사 최근접 이웃 검색에 쓰는 LSH에서 같은 아이디어를 씁니다. -
Q-15. 경사하강법이란 무엇인가요?
자세한 설명 보기경사하강법은 손실 함수의 기울기를 계산해 그 반대 방향으로 파라미터를 조금씩 옮기는 일을 반복하는 최적화 방법입니다. 그래디언트는 함수가 국소적으로 가장 빠르게 증가하는 방향이므로, 그 반대로 가면 손실이 가장 빠르게 줄어듭니다. 한 번에 움직이는 크기는 학습률이 정하는데, 너무 작으면 학습이 느리고 너무 크면 진동하거나 발산합니다. 예를 들어 \(f(w) = (w - 3)^2\)에서 학습률 0.1로 \(w = 0\)에서 출발하면 \(w\)는 0.6, 1.08, 1.46으로 최솟값 3에 다가갑니다. 실제로는 전체 데이터 대신 미니배치로 그래디언트를 추정하는 미니배치 SGD를 주로 씁니다. 볼록 함수에서는 적절한 학습률로 전역 최솟값에 다가갈 수 있지만, 신경망 같은 비볼록 함수에서는 전역 최솟값이 보장되지 않습니다.
-
Q-16. Backpropagation(역전파)이란 무엇인가요?
자세한 설명 보기역전파는 신경망의 모든 파라미터에 대한 손실의 그래디언트를 연쇄 법칙으로 효율적으로 계산하는 알고리즘입니다. 먼저 순전파로 예측과 손실을 구하면서 중간값을 저장하고, 그다음 출력 쪽에서 입력 쪽으로 편미분을 차례로 곱해 나갑니다. 파라미터마다 따로 미분하면 같은 계산이 반복되지만, 역전파는 공통되는 뒤쪽 계산을 재사용하기 때문에 파라미터가 수백만 개여도 전체 그래디언트를 순전파와 비슷한 규모의 비용으로 구할 수 있습니다. 예를 들어 \(\hat{y} = w_2 w_1 x\)에서 \(w_1\)의 그래디언트는 손실의 \(\hat{y}\) 미분에 \(w_2\)와 \(x\)를 곱해 얻습니다. 중요한 구분은 역전파가 그래디언트를 계산할 뿐이고, 파라미터를 실제로 바꾸는 것은 SGD나 Adam 같은 옵티마이저라는 점입니다. 깊은 망에서는 곱셈이 누적되어 그래디언트 소실이나 폭발이 생길 수 있어서 ReLU, 잔차 연결, 정규화 같은 기법을 함께 씁니다.
-
Q-17. Confusion matrix란 무엇인가요?
자세한 설명 보기Confusion matrix는 실제 클래스와 예측 클래스를 교차해 개수를 센 표로, 모델이 어떤 종류의 실수를 하는지 보여 줍니다. 이진 분류에서는 TP, FP, FN, TN 네 칸으로 나뉩니다. 정확도 하나만 보면 틀린 예측이 모두 똑같이 취급되지만, 실제로는 거짓 양성과 거짓 음성의 비용이 다른 경우가 많아서 이 표가 필요합니다. 예를 들어 양성이 5%인 질병 데이터에서 모두 음성이라고 답하면 정확도는 95%이지만 환자를 한 명도 찾지 못하며, 표에서는 TP가 0인 것이 바로 드러납니다. 정밀도, 재현율, 특이도 같은 지표도 모두 이 네 값에서 계산합니다. 다만 표는 정해진 임계값에서의 결과이므로, 임계값을 바꾸면 값도 달라집니다.
-
Q-18. 분류와 회귀의 차이점은 무엇인가요?
자세한 설명 보기둘 다 지도 학습이고, 가장 큰 차이는 예측 대상입니다. 분류는 스팸인지 아닌지처럼 정해진 범주를 예측하고, 회귀는 집값처럼 연속적인 수치를 예측합니다. 이 차이 때문에 분류는 보통 교차 엔트로피로 학습하고 정확도나 F1, AUC로 평가하며, 회귀는 MSE로 학습하고 RMSE나 MAE, 결정계수로 평가합니다. 주의할 점은 이름만으로 판단하면 안 된다는 것입니다. 로지스틱 회귀는 이름과 달리 클래스 확률을 내놓는 분류 모델입니다. 또 분류 모델도 내부적으로는 연속적인 점수를 계산하고 마지막에 임계값으로 범주를 정합니다. 같은 집값이라도 금액을 맞히면 회귀이고, 고가인지 저가인지를 맞히면 분류이므로 문제 정의에 따라 달라집니다.
-
Q-20. Sigmoid function이란 무엇인가요?
자세한 설명 보기시그모이드 함수는 실수 전체를 0과 1 사이의 값으로 바꾸는 S자 모양의 함수로, 머신러닝에서는 보통 로지스틱 함수를 가리킵니다. 출력을 확률처럼 해석할 수 있어서 로지스틱 회귀나 이진 분류 신경망의 출력층에 씁니다. 예를 들어 모델의 점수가 2이면 시그모이드를 지나 약 0.88이 되고, 이를 양성 확률 88%로 해석합니다. 은닉층의 활성화 함수로도 쓰였지만 지금은 드뭅니다. 입력의 절댓값이 크면 기울기가 거의 0이 되고 기울기의 최댓값도 0.25라서, 깊은 망에서 그래디언트 소실을 일으키기 쉽기 때문입니다. 그래서 은닉층에는 ReLU 계열을 주로 쓰고, 시그모이드는 출력층이나 LSTM의 게이트처럼 0과 1 사이의 값이 필요한 곳에 씁니다.
-
Q-21. Convex function이란 무엇인가요?
자세한 설명 보기볼록 함수는 그래프 위의 어떤 두 점을 이어도 그 선분이 그래프보다 아래로 내려가지 않는 함수입니다. 두 번 미분 가능하다면 헤시안이 모든 곳에서 양의 준정부호라는 조건과 같습니다. 머신러닝에서 중요한 이유는 모든 지역 최솟값이 곧 전역 최솟값이어서, 경사하강법이 나쁜 지역 최솟값에 갇힐 걱정이 없기 때문입니다. 예를 들어 선형 회귀의 제곱 손실과 로지스틱 회귀의 로그 손실은 파라미터에 대해 볼록합니다. 반면 신경망의 손실은 비볼록해서 전역 최적을 보장하지 못합니다. 다만 볼록하다고 최솟값이 항상 존재하거나 유일한 것은 아니고, 유일성은 강볼록 같은 더 강한 조건이 있어야 보장됩니다.
-
Q-22. 머신러닝에서 유용한 metric에는 무엇이 있나요?
자세한 설명 보기모든 문제에 좋은 metric은 없어서 문제 유형과 오류의 비용을 보고 골라야 합니다. 분류에서는 정확도, 정밀도, 재현율, F1, ROC-AUC, PR-AUC, 로그 손실을 주로 쓰고, 회귀에서는 MAE, RMSE, 결정계수를 씁니다. 추천이나 검색 같은 랭킹 문제에는 Precision@k와 NDCG가 알맞습니다. 예를 들어 양성이 1%인 사기 탐지에서는 모두 정상이라고 답해도 정확도가 99%이므로, 정확도보다 PR-AUC나 재현율이 더 많은 것을 알려 줍니다. 회귀에서는 큰 오차를 강하게 벌주고 싶으면 RMSE, 이상치에 덜 민감하기를 원하면 MAE가 낫습니다. 또 모델을 학습하는 손실과 평가하는 지표는 다를 수 있으므로, 최종 판단은 실제 목표에 가까운 지표로 하고, 수치 하나만 보지 않는 것이 좋습니다.
-
Q-23. Missing data를 처리하는 방법에는 무엇이 있나요?
자세한 설명 보기먼저 왜 값이 비었는지부터 확인하고, 그 원인에 맞추어 처리 방법을 골라야 합니다. 방법은 크게 행이나 열을 삭제하기, 평균이나 중앙값 또는 모델로 값을 대체하기, 결측 여부를 별도 특징으로 추가하기, 결측을 직접 다루는 모델을 쓰기로 나뉩니다. 원인이 중요한 이유는 소득이 높은 사람이 소득을 답하지 않는 것처럼 결측이 무작위가 아니면 삭제나 단순 대체가 결과를 왜곡하기 때문입니다. 예를 들어 결측이 적고 무작위에 가까우면 중앙값 대체와 결측 표시로 시작할 수 있고, 표 형식 데이터라면 결측을 기본 지원하는 그래디언트 부스팅을 바로 쓸 수도 있습니다. 대체 값은 반드시 학습 데이터로만 계산해 검증 및 테스트 데이터에 적용해야 데이터 누수를 막을 수 있습니다. 어떤 방법이 나은지는 검증 데이터에서 비교해 결정합니다.
-
Q-24. Training set, validation set, test set을 얼마나 나누어야 하나요?
자세한 설명 보기정해진 정답은 없고, 흔히 쓰는 60:20:20이나 80:10:10은 출발점이 되는 경험칙입니다. 더 중요한 것은 비율보다 검증과 테스트 세트의 절대 개수입니다. 평가의 정밀도는 전체 데이터의 비율이 아니라 평가 샘플의 수로 정해지기 때문입니다. 예를 들어 정확도가 90% 정도일 때 테스트 샘플이 1,000개면 95% 신뢰구간이 약 ±1.9%p이고, 1만 개면 약 ±0.6%p입니다. 그래서 데이터가 100만 개라면 98:1:1도 충분할 수 있고, 수백 개뿐이라면 테스트만 따로 떼어 두고 나머지는 k-fold 교차 검증을 하는 편이 낫습니다. 비율 못지않게 나누는 방식도 중요해서, 시계열은 시간 순서로, 같은 환자의 데이터는 한쪽으로 묶어 나누어야 하고, 테스트 세트는 실제 서비스 분포를 반영해야 하며 최종 평가에 한 번만 써야 합니다.
-
Q-25. 차원 축소를 위한 특징 추출 기법에는 어떤 것이 있나요?
자세한 설명 보기대표적인 기법으로는 PCA, LDA, Kernel PCA, ICA, NMF, 오토인코더, 그리고 시각화용인 t-SNE와 UMAP이 있습니다. 특징 추출은 기존 변수 일부를 고르는 특징 선택과 달리, 기존 변수를 조합해 새로운 저차원 변수를 만드는 방법입니다. 어떤 기법을 쓸지는 라벨이 있는지, 데이터 구조가 선형인지, 목적이 전처리인지 시각화인지에 따라 결정합니다. 라벨이 없고 구조가 대체로 선형이면 PCA를 먼저 시도하고, 분류 문제에서 클래스 분리가 중요하면 LDA를 고려합니다. 비선형 구조가 강하면 Kernel PCA나 오토인코더를 쓰고, 2차원 시각화가 목적이면 t-SNE나 UMAP을 씁니다. 예를 들어 분산이 큰 방향이 클래스 구분과 무관한 데이터에서는 PCA가 클래스를 겹치게 만들 수 있고, 이때는 LDA가 더 적합합니다.
-
Q-26. 분류 머신러닝 알고리즘은 어디에 사용되나요?
자세한 설명 보기분류 알고리즘은 스팸 필터링, 신용 평가, 이상 거래 탐지, 질병 진단 보조, 고객 이탈 예측, 이미지와 문서 분류에 널리 사용됩니다. 이 문제들의 공통점은 입력을 미리 정해진 범주 중 하나 이상으로 나누고, 그 범주를 라벨로 학습할 수 있다는 것입니다. 알고리즘은 데이터 형태와 요구 사항에 따라 달라집니다. 표 형태의 데이터에는 로지스틱 회귀나 그래디언트 부스팅을, 이미지나 긴 문장 같은 비정형 데이터에는 신경망을 많이 고려합니다. 예를 들어 이상 거래 탐지에서는 거래 금액, 시간, 위치 같은 특징으로 정상과 사기를 구분합니다. 이때 사기 사례가 매우 드물기 때문에 accuracy보다 precision과 recall을 함께 보고, 비즈니스 비용에 맞춰 임계값을 정해야 합니다.
-
Q-27. F1-score를 정의해 주세요
자세한 설명 보기F1-score는 precision과 recall의 조화 평균입니다. 조화 평균을 쓰는 이유는 둘 중 하나만 높은 모델이 좋은 점수를 받지 못하게 하기 위해서입니다. 예를 들어 precision이 0.9이고 recall이 0.1이면 산술 평균은 0.5이지만 F1은 0.18입니다. 그래서 양성 클래스가 드물어 accuracy가 큰 의미를 갖지 못할 때 자주 사용합니다. 다만 F1은 true negative를 전혀 반영하지 않고, precision과 recall을 동등하게 취급합니다. 따라서 어느 한쪽 오류의 비용이 더 크다면 F-beta score나 비용 기반 지표를 함께 검토해야 합니다.
-
Q-28. Bias-Variance Tradeoff란 무엇인가요?
자세한 설명 보기편향-분산 트레이드오프는 모델 복잡도를 조절할 때 편향과 분산이 대체로 반대로 움직여, 일반화 오차를 줄이려면 둘의 균형을 맞춰야 한다는 개념입니다. 편향은 모델의 가정이 너무 단순해서 생기는 체계적인 오차이고, 분산은 학습 데이터가 조금 바뀔 때 예측이 크게 흔들리는 정도입니다. 제곱 오차에서는 기대 테스트 오차가 편향의 제곱, 분산, 줄일 수 없는 노이즈의 합으로 정확히 분해됩니다. 예를 들어 곡선 데이터에 직선을 맞추면 어떤 학습 데이터를 받아도 곡선을 놓치므로 편향이 크고, 표본 수에 비해 차수가 높은 다항식을 맞추면 노이즈까지 따라가 분산이 커집니다. 학습 오차와 검증 오차가 모두 높으면 편향을 먼저 의심하고, 학습 오차는 낮은데 검증 오차와의 차이가 크면 분산을 먼저 의심합니다. 다만 항상 맞바꿔야만 하는 것은 아닙니다. 데이터를 더 모으면 편향을 키우지 않고 분산을 줄일 수 있습니다.
-
Q-29. K-means와 KNN에서 Manhattan Distance를 사용하지 못하는 이유는 무엇인가요?
자세한 설명 보기질문의 전제는 틀렸습니다. KNN은 Manhattan 거리를 아무 문제 없이 사용할 수 있습니다. KNN은 거리를 계산해 가까운 이웃을 고르기만 하고 중심을 계산하지 않기 때문입니다. K-means도 Manhattan 거리를 절대 쓸 수 없는 것은 아니지만, 할당 단계의 거리만 바꾸면 알고리즘의 정합성이 깨집니다. 중심을 평균으로 갱신하는 단계는 제곱 유클리드 거리를 최소화할 때만 최적이기 때문입니다. L1 거리의 합을 최소화하는 점은 평균이 아니라 좌표별 중앙값이고, 이렇게 바꾼 알고리즘이 k-medians입니다. 예를 들어 1, 2, 3, 4, 100이라는 값에서 평균은 22이지만 L1 거리 합을 최소화하는 점은 3입니다.
-
Q-30. Decision Tree를 어떻게 가지치기(Pruning)하나요?
자세한 설명 보기가지치기에는 트리가 자라는 도중에 멈추는 사전 가지치기와, 충분히 키운 뒤 불필요한 가지를 잘라내는 사후 가지치기가 있습니다. 목적은 학습 데이터의 노이즈까지 외운 깊은 트리의 분산을 줄여 일반화 성능을 높이는 것입니다. 사전 가지치기는 최대 깊이, 잎의 최소 표본 수, 최소 불순도 감소량 같은 조건을 쓰며 빠르지만, 지금 당장 이득이 작은 분할 뒤에 있는 좋은 분할을 놓칠 수 있습니다. 사후 가지치기의 대표적인 방법은 CART의 비용-복잡도 가지치기입니다. 잎 개수에 페널티 알파를 주고, 잎을 줄일 때 오차가 가장 적게 늘어나는 가지부터 차례로 잘라 후보 트리를 만든 뒤, 교차 검증으로 가장 좋은 알파를 고릅니다. 예를 들어 scikit-learn에서는
ccp_alpha파라미터로 이 방법을 사용할 수 있습니다. -
Q-31. Model Accuracy와 Model Performance 중 어느 것이 더 중요한가요?
자세한 설명 보기이 질문은 일부분 잘못된 선택지입니다. accuracy는 model performance를 재는 지표 중 하나이므로, 둘을 대등하게 놓고 고를 수 없기 때문입니다. 중요한 것은 문제의 목적과 오류 비용을 반영한 지표로 측정한 성능입니다. accuracy가 높다고 그 목적을 달성했다는 보장은 없습니다. 예를 들어 1,000건 중 양성이 10건인 데이터에서는 모두 음성으로 예측해도 accuracy가 99%이지만, 양성은 하나도 찾지 못합니다. 반면 양성을 놓치는 비용이 크다면 accuracy가 95.9%로 더 낮아도 양성 10건 중 9건을 찾는 모델이 더 좋을 수 있습니다. 만약 질문의 performance가 지연 시간이나 처리량 같은 계산 성능을 뜻한다면, 이는 예측 품질과 함께 맞춰야 하는 운영 제약입니다. 따라서 필요한 품질의 기준과 서비스 제약을 먼저 정하고 그 안에서 모델을 고릅니다.
-
Q-32. 푸리에 변환을 정의해 주세요
자세한 설명 보기푸리에 변환은 시간이나 공간에 대한 함수를 여러 주파수의 사인파 성분으로 분해하는 변환입니다. 각 주파수와의 내적을 계산해 그 주파수 성분이 얼마나 들어 있는지와 위상이 어떠한지를 복소수 값으로 얻습니다. 역변환으로 원래 신호를 복원할 수 있으므로, 같은 정보를 다른 기저로 표현한 것으로 볼 수 있습니다. 머신러닝에서는 음성 신호를 스펙트로그램으로 바꿔 입력으로 쓰는 것이 대표적인 예입니다. 또 합성곱 정리에 따라 시간 영역의 합성곱이 주파수 영역의 곱셈이 되므로, 긴 합성곱을 FFT로 효율적으로 계산할 수 있습니다. 다만 전체 신호의 푸리에 변환은 어떤 주파수가 언제 나타났는지 알려 주지 않으므로, 이때는 짧은 구간별로 변환하는 STFT를 사용합니다.
-
Q-33. KNN과 K-means clustering의 차이는 무엇인가요?
자세한 설명 보기KNN은 지도 학습의 분류와 회귀 알고리즘이고, K-means는 비지도 학습의 군집화 알고리즘입니다. KNN은 라벨이 있는 데이터를 저장해 두었다가, 새 입력과 가까운 k개 이웃의 라벨로 예측합니다. 반면 K-means는 라벨 없이 군집 내 제곱 거리의 합이 작아지도록 K개의 중심을 반복해서 학습합니다. 이름의 K도 다릅니다. KNN의 k는 참고할 이웃의 수이고, K-means의 K는 만들 군집의 수입니다. 예를 들어 어떤 환자의 질병 유무를 과거 진단 기록으로 예측한다면 KNN을 쓸 수 있습니다. 라벨 없는 고객 데이터에서 비슷한 고객 집단을 찾는다면 K-means를 쓸 수 있습니다. 둘 다 거리에 의존하므로 특징 스케일링이 중요하다는 공통점이 있습니다.
-
Q-36. True Positive Rate와 Recall은 어떤 관계인가요?
자세한 설명 보기둘은 이름만 다른 같은 지표입니다. 둘 다 실제 양성 중에서 모델이 양성으로 맞힌 비율, 즉 TP를 TP와 FN의 합으로 나눈 값입니다. 의학에서는 민감도(sensitivity)라고도 부르며, ROC 곡선을 말할 때는 TPR, 정밀도와 함께 말할 때는 Recall이라고 부르는 것이 관례입니다. 예를 들어 실제 환자 100명 중 80명을 찾아냈다면 TPR과 Recall은 모두 0.8입니다. FN의 비용이 큰 암 진단이나 사기 탐지에서 특히 중요하게 봅니다.
-
Q-37. Naive Bayes는 왜 'Naive'라고 불리나요?
자세한 설명 보기클래스가 주어지면 모든 특성이 서로 독립이라고 가정하기 때문입니다. 현실의 특성은 대부분 서로 관련되어 있으니 이 가정은 지나치게 단순하고, 그래서 ‘순진하다(naive)’고 부릅니다. 이 가정을 두는 이유는 특성 간 결합 분포를 추정할 필요가 없어져, 추정할 파라미터 수가 지수적으로 줄어들기 때문입니다. 예를 들어 스팸 분류에서 ‘free’와 ‘winner’는 함께 등장하는 경향이 있지만, 나이브 베이즈는 각 단어의 확률을 따로 추정해 곱합니다. 가정이 틀려서 확률값은 과신하는 경향이 있지만, 분류는 가장 큰 클래스만 맞히면 되므로 텍스트 분류 등에서 여전히 잘 동작하는 경우가 많습니다.
-
Q-38. ROC curve를 정의해 주세요
자세한 설명 보기ROC 곡선은 이진 분류기의 임계값을 바꿔 가면서 위양성률(FPR)을 가로축, 진양성률(TPR)을 세로축으로 그린 곡선입니다. 분류 성능은 임계값에 따라 달라지므로, 특정 임계값 하나에 묶이지 않고 모델이 양성과 음성을 얼마나 잘 분리하는지 보기 위해 사용합니다. 왼쪽 위 모서리에 가까울수록 좋고, 대각선은 무작위 분류기에 해당합니다. 곡선 아래 면적인 AUC는 임의의 양성 샘플이 임의의 음성 샘플보다 높은 점수를 받을 확률로 해석되며, 예를 들어 AUC 0.81이면 약 81%의 쌍에서 순위가 맞다는 뜻입니다. 다만 양성이 매우 드문 문제에서는 AUC가 높아도 정밀도가 낮을 수 있어서, 이럴 때는 PR 곡선을 함께 봅니다.
-
Q-41. 모델 정확도를 평가할 때 가장 자주 사용되는 metric은 무엇인가요?
자세한 설명 보기분류에서는 전체 중 맞힌 비율인 Accuracy가 가장 기본이지만, 불균형 데이터에서는 Precision, Recall, F1, ROC-AUC를 함께 봅니다. Accuracy는 모든 오류를 같은 비용으로 취급하고 클래스 비율에 크게 좌우되기 때문입니다. 예를 들어 양성이 1%인 데이터에서는 전부 음성으로 찍어도 Accuracy가 99%이지만, 양성은 하나도 찾지 못합니다. 회귀에서는 ‘맞혔다’는 개념 대신 오차의 크기를 보므로 MAE, RMSE, 결정계수 같은 지표를 씁니다. 그래서 실무에서는 문제의 오류 비용에 맞는 지표를 먼저 정하고, 그 지표로 모델을 비교합니다.
-
Q-42. SVM은 언제 사용하나요?
자세한 설명 보기SVM은 표본이 작거나 중간 규모이고, 특성 차원이 높으며, 클래스 사이의 경계가 비교적 분명한 분류 문제에 먼저 고려합니다. 마진을 최대화하기 때문에 차원이 높아도 비교적 과적합에 강하고, 결정 경계가 일부 서포트 벡터에만 의존하기 때문입니다. 비선형 경계가 필요하면 커널을 써서 특성을 직접 만들지 않고도 해결할 수 있습니다. 대표적인 예가 TF-IDF 텍스트 분류로, 특성이 수만 차원이어도 선형 SVM이 잘 맞는 경우가 많습니다. 반대로 표본이 수백만 개일 때 커널 SVM은 계산량 때문에 부담이 크고, 보정된 확률이 필요하거나 클래스가 많이 겹치고 노이즈가 많을 때도 다른 모델을 먼저 검토합니다. 또한 스케일에 민감하므로 특성 표준화는 사실상 필수입니다.
-
Q-43. PCA에 회전이 필요한가요?
자세한 설명 보기먼저 ‘회전’이 무엇을 가리키는지 구분해야 합니다. PCA 자체가 분산이 가장 큰 방향이 축이 되도록 좌표축을 회전하는 것이므로, 이 회전은 필요한 정도가 아니라 PCA 그 자체입니다. 반면 주성분을 구한 뒤 해석을 쉽게 하려고 추가로 적용하는 varimax 같은 회전은 필수가 아닙니다. 추가 회전은 선택한 성분들이 설명하는 총 분산은 유지하지만, 분산을 성분 사이에 재분배하기 때문에 ‘첫 번째 성분이 분산을 최대로 설명한다’는 성질은 사라집니다. 예를 들어 상관 행렬로 구한 두 성분의 분산이 2.83과 1.57이었는데 varimax를 적용하면 2.42와 1.98이 되고, 총합 4.40은 그대로입니다. 그래서 압축이나 전처리가 목적이면 추가 회전을 하지 않고, 성분을 사람이 해석해야 할 때만 선택적으로 적용합니다.
-
Q-71. Frequentist 와 Bayesian의 차이는 무엇인가?
자세한 설명 보기가장 큰 차이는 확률을 무엇으로 해석하느냐와 파라미터를 어떻게 보느냐입니다. 빈도주의는 확률을 반복 시행에서의 장기적인 빈도로 보고, 파라미터는 알려지지 않았지만 고정된 값으로 다룹니다. 베이즈주의는 확률을 불확실성의 정도로 보고, 파라미터에도 분포를 두어 사전 분포를 데이터로 갱신해 사후 분포를 얻습니다. 예를 들어 동전을 10번 던져 앞면이 7번 나오면, 빈도주의는 최대우도추정으로 0.7이라는 점추정치와 신뢰구간을 제시합니다. 베이즈주의는 균등 사전 분포에서 시작해 사후 분포 Beta(8, 4)를 구하고, 앞면 확률이 0.5보다 클 확률이 약 89%라고 직접 말할 수 있습니다. 머신러닝에서는 MLE와 MAP의 차이로 자주 나타나며, 데이터가 많아지면 대체로 두 결론이 비슷해집니다.
-
Q-72. Frequentist 와 Bayesian의 장점은 무엇인가?
자세한 설명 보기빈도주의의 장점은 사전 분포를 정하지 않아도 되고, 계산이 비교적 간단해 큰 데이터로 확장하기 쉬우며, 오류율을 절차의 성질로 관리할 수 있다는 것입니다. 베이즈의 장점은 사전 지식을 자연스럽게 넣을 수 있고, 불확실성을 사후 분포로 표현해 직접적인 확률 진술과 의사결정에 바로 쓸 수 있으며, 표본이 적을 때 추정을 안정시킬 수 있다는 것입니다. 예를 들어 대규모 A/B 테스트나 수백만 건으로 학습하는 모델에는 빈도주의 방식이 실용적입니다. 반면 환자 수가 적은 임상 데이터처럼 과거 지식이 중요하고 불확실성이 결정을 좌우하는 경우에는 베이즈가 잘 맞습니다. 어느 한쪽이 항상 우월한 것은 아니고, 데이터 양과 사전 지식, 계산 비용, 필요한 진술의 형태에 따라 고릅니다.
-
Q-73. 차원의 저주란?
자세한 설명 보기차원의 저주는 특징 수가 늘어날수록 공간의 부피가 지수적으로 커져서, 같은 수의 데이터가 점점 희박해지고 학습과 추정이 어려워지는 현상입니다. 축마다 구간을 10개로 나누면 구간 칸의 수가 차원마다 10배씩 늘기 때문에, 공간을 같은 밀도로 채우는 데 필요한 표본이 지수적으로 늘어납니다. 게다가 무작위 고차원 데이터에서는 가장 가까운 점과 가장 먼 점의 거리 차이가 상대적으로 줄어들어, KNN이나 K-means처럼 거리에 의존하는 방법의 성능이 떨어지기 쉽습니다. 예를 들어 정보가 있는 특징이 2개인 문제에 노이즈 특징을 많이 더하면, 1-NN의 정확도가 크게 떨어집니다. 그래서 차원 축소, 특징 선택, 정규화, 임베딩 학습 같은 방법을 씁니다. 실제 이미지처럼 겉보기 차원이 높아도 내재 차원이 낮은 데이터에서는 그 영향이 덜합니다.
-
Q-74. Cross Validation이란?
자세한 설명 보기교차 검증은 데이터를 여러 조각으로 나누어, 한 조각을 검증에 쓰고 나머지로 학습하는 과정을 돌아가며 반복해 일반화 성능을 추정하는 방법입니다. 검증 세트를 한 번만 떼어 놓으면 어떻게 나뉘었는지에 결과가 크게 좌우되고 학습 데이터도 줄어드는데, 교차 검증은 모든 샘플을 검증에 한 번씩 쓰므로 데이터를 더 효율적으로 활용합니다. 예를 들어 5-fold라면 모델을 5번 학습해 5개의 검증 점수를 평균하고, 그 평균으로 하이퍼파라미터나 모델을 고릅니다. 가장 주의할 점은 데이터 누수입니다. 전처리나 특징 선택은 반드시 각 폴드의 학습 데이터만으로 해야 하고, 시계열이나 같은 환자의 반복 측정처럼 샘플이 독립이 아니면 분할 방식도 그에 맞춰야 합니다. 또 교차 검증으로 모델을 고른 뒤의 그 점수는 낙관적일 수 있어서, 최종 성능은 별도의 테스트 세트나 중첩 교차 검증으로 확인합니다.
-
Q-75. Supervised, Unsupervised, Semi-Supervised learning이란 무엇인가?
자세한 설명 보기지도 학습은 입력과 정답 레이블로 입력에서 출력으로의 함수를 배우고, 비지도 학습은 레이블 없이 군집이나 분포 같은 데이터의 구조를 찾습니다. 준지도 학습은 그 사이로, 레이블이 있는 소량의 데이터와 레이블이 없는 다량의 데이터를 함께 사용해 지도 학습 과제를 풉니다. 레이블은 비싸지만 입력 자체는 싸게 모을 수 있는 경우가 많기 때문에 씁니다. 예를 들어 의료 영상은 전문의의 판독이 비싸므로, 판독된 수백 장과 판독되지 않은 수만 장을 함께 학습할 수 있습니다. 비레이블 데이터가 도움이 되려면 비슷한 입력은 같은 레이블을 갖거나 결정 경계가 밀도가 낮은 곳을 지난다는 식의 가정이 맞아야 합니다. 이 가정이 깨지거나 비레이블 데이터의 분포가 다르면 레이블만 쓸 때보다 오히려 나빠질 수 있습니다.
-
Q-76. Decision Theory란?
자세한 설명 보기결정 이론은 불확실성 아래에서 어떤 행동을 할지 정하는 체계로, 각 결과의 확률과 손실을 결합해 기대 손실이 가장 작은 행동을 고릅니다. 모델이 추정하는 확률만으로는 행동이 정해지지 않고, 틀렸을 때의 비용이 함께 있어야 하기 때문입니다. 예를 들어 암일 확률이 20%인 환자를 생각해 보겠습니다. 정상을 암으로 판단하는 비용이 1이고 암을 놓치는 비용이 9라면, 양성 판정의 기대 손실은 0.8, 음성 판정의 기대 손실은 1.8이므로 확률이 절반에 못 미쳐도 양성으로 판정하는 것이 맞습니다. 이때 임계값은 0.5가 아니라 0.1이 됩니다. 머신러닝에서 확률을 추정하는 추론 단계와 행동을 정하는 결정 단계를 나누어 보는 이유가 여기에 있습니다. 그래서 비용이 바뀌면 재학습 없이 임계값만 조정할 수 있습니다.
-
Q-77. Precision Recall Curve란 무엇인가?
자세한 설명 보기PR 곡선은 이진 분류기의 임계값을 바꿔 가면서 Recall을 가로축, Precision을 세로축으로 그린 곡선입니다. 임계값을 낮추면 양성을 더 많이 찾아 Recall은 오르지만 잘못 잡는 경우가 늘어 Precision은 대체로 떨어지므로, 그 교환 관계를 한눈에 보여 줍니다. ROC 곡선과의 큰 차이는 Precision이 양성 비율에 의존한다는 점입니다. 예를 들어 클래스별 점수 분포가 같은 모델은 양성 비율이 50%든 1%든 ROC가 같지만, 제 실험에서 Recall 0.5일 때의 Precision은 0.88에서 0.07로 떨어졌습니다. 그래서 사기 탐지처럼 양성이 드물고 양성 예측의 품질이 중요한 문제에서 PR 곡선을 봅니다. 곡선 요약값으로는 평균 정밀도(AP)를 쓰고, 무작위 분류기의 기준선은 0.5가 아니라 양성 비율이라는 점에 주의해야 합니다.
-
Q-78. Type 1 Error 와 Type 2 Error는?
자세한 설명 보기제1종 오류는 귀무가설이 참인데 기각하는 것으로, 없는 효과를 있다고 판단하는 위양성입니다. 제2종 오류는 귀무가설이 거짓인데 기각하지 못하는 것으로, 있는 효과를 놓치는 위음성입니다. 제1종 오류 확률을 유의 수준 알파, 제2종 오류 확률을 베타라 하고, 1에서 베타를 뺀 값이 검정력입니다. 표본 크기를 고정하면 기각 기준을 엄격하게 할수록 알파는 줄고 베타는 늘어나므로, 둘을 함께 줄이려면 표본을 늘려야 합니다. 예를 들어 코로나 검사에서 건강한 사람을 양성으로 판정하면 제1종 오류, 감염자를 음성으로 판정하면 제2종 오류입니다. 어느 오류가 더 심각한지는 문제의 비용에 따라 다르므로, 감염병 선별 검사에서는 보통 제2종 오류를 더 강하게 줄이려고 합니다.
-
Q-79. Entropy란 무엇인가?
자세한 설명 보기엔트로피는 확률 분포가 가진 불확실성의 크기로, 결과를 하나 관측했을 때 얻는 정보량의 기댓값입니다. 드문 사건일수록 관측했을 때 정보가 크다고 보아 사건의 정보량을 음의 로그 확률로 정의하고, 이를 확률로 평균한 것입니다. 예를 들어 공정한 동전의 엔트로피는 1비트이지만, 앞면 확률이 0.9인 동전은 결과를 어느 정도 예상할 수 있어 약 0.47비트입니다. 결과가 한 가지로 확실하면 0이고, 이산 분포에서는 모든 결과가 균등할 때 가장 큽니다. 또한 정보 이론에서는 평균 부호 길이의 하한을 뜻합니다. 머신러닝에서는 의사결정나무의 분할 기준인 정보 이득, 그리고 교차 엔트로피와 KL divergence의 기초로 쓰입니다.
-
Q-80. KL-Divergence란 무엇인가?
자세한 설명 보기KL divergence는 두 확률 분포의 차이를 재는 값으로, 실제 분포 P를 모델 분포 Q로 근사했을 때 추가로 드는 평균 정보량입니다. 항상 0 이상이고 두 분포가 같을 때만 0이 되지만, 대칭이 아니고 삼각 부등식도 만족하지 않아 수학적 거리는 아닙니다. 예를 들어 P가 (0.9, 0.1), Q가 (0.5, 0.5)이면 P에서 Q로의 값은 약 0.368내트이고 방향을 바꾸면 약 0.511내트로 다릅니다. 머신러닝에서 데이터 분포에 대한 KL을 최소화하는 것은 최대우도추정과 같고, VAE에서는 잠재 분포를 사전 분포에 가깝게 만드는 정규화 항으로 쓰입니다. 방향에 따라 근사의 성격도 달라서, 어느 쪽을 최소화하느냐는 실제적인 선택입니다.
-
Q-81. Mutual Information이란 무엇인가?
자세한 설명 보기상호 정보는 한 변수를 관측했을 때 다른 변수의 불확실성이 얼마나 줄어드는지를 나타내는 값입니다. 수식으로는 X의 엔트로피에서 Y를 안 뒤의 X의 조건부 엔트로피를 뺀 것이고, 결합 분포와 주변 분포의 곱 사이의 KL divergence와 같습니다. 그래서 항상 0 이상이고 0이면 두 변수가 독립입니다. 상관 계수와 달리 선형 관계에 한정되지 않는 점이 장점입니다. 예를 들어 X가 -1, 0, 1 중 하나로 균등하고 Y가 X의 제곱이면 상관 계수는 0이지만 상호 정보는 약 0.92비트입니다. 머신러닝에서는 특징 선택, 의사결정나무의 정보 이득, 대조 학습 등에 쓰입니다. 다만 고차원 연속 변수에서는 추정이 어렵습니다.
-
Q-82. Cross-Entropy란 무엇인가?
자세한 설명 보기교차 엔트로피는 실제 분포 p에서 나오는 사건을 분포 q 기준의 정보량으로 쟀을 때의 기댓값입니다. 정보 이론적으로는 p의 데이터를 q에 최적화된 부호로 표현할 때의 평균 부호 길이이므로, q가 p와 다르면 p의 엔트로피보다 길어집니다. 그 초과분이 KL divergence라서 교차 엔트로피는 p의 엔트로피와 KL의 합이 됩니다. 예를 들어 p가 (0.7, 0.2, 0.1), q가 (0.5, 0.3, 0.2)이면 교차 엔트로피는 약 1.280비트, p의 엔트로피는 약 1.157비트이고, 차이 0.123비트가 KL입니다. 학습에서는 p가 데이터로 고정되므로, q에 대해 교차 엔트로피를 최소화하는 것은 KL을 최소화하는 것과 같습니다. 그래서 분류의 손실 함수로 널리 쓰입니다.
-
Q-83. Cross-Entropy loss 란 무엇인가?
자세한 설명 보기교차 엔트로피 손실은 분류 모델의 대표적인 손실 함수로, 정답 클래스의 예측 확률에 음의 로그를 취한 값을 평균합니다. 모델의 출력을 베르누이나 범주형 분포로 보면 이 값이 음의 로그 우도이므로, 최소화는 곧 최대우도추정입니다. 예측이 맞을수록 0에 가깝고 정답 확률이 0에 가까워지면 무한히 커져서, 확신에 찬 오답에 큰 벌을 줍니다. 시그모이드 출력에 제곱 오차를 쓰면 많이 틀린 샘플에서도 기울기가 포화되어 작아지는데, 교차 엔트로피는 로그가 이를 상쇄해 로짓 기준 기울기가 예측값과 정답의 차이가 됩니다. 예를 들어 소프트맥스 출력 0.659가 정답 클래스의 확률이면 손실은 약 0.417입니다. 또 무작위 예측의 손실은 클래스 수의 로그이므로, 학습 초기 값이 이와 크게 다르면 구현을 의심할 수 있습니다.
-
Q-84. Generative Model이란 무엇인가?
자세한 설명 보기생성 모델은 데이터가 어떻게 만들어지는지, 즉 입력의 분포 p(x)나 입력과 레이블의 결합 분포 p(x, y)를 학습하는 모델입니다. 분포를 알면 베이즈 규칙으로 분류할 수 있고, 새로운 샘플을 만들거나 드문 입력을 탐지하는 데도 쓸 수 있습니다. 분류 문제의 고전적인 예로는 클래스별 입력 분포를 모델링하는 나이브 베이즈와 GDA가 있습니다. 딥러닝에서는 VAE, GAN, 플로우, 디퓨전처럼 이미지나 텍스트를 생성하는 모델이 대표적입니다. 대신 데이터 분포 전체를 다루므로 고차원에서는 어렵고, 분류만 필요하다면 그 분포까지 모델링하는 것이 불필요한 부담이 될 수 있습니다. 또 모델이 샘플을 만드는 방식은 다양해서, GAN처럼 밀도를 명시적으로 주지 않는 모델도 있습니다.
-
Q-85. Discriminative Model이란 무엇인가?
자세한 설명 보기판별 모델은 입력이 어떻게 생성되는지는 모델링하지 않고, 입력이 주어졌을 때 레이블의 조건부 확률이나 클래스 사이의 경계를 직접 학습하는 모델입니다. 분류에 실제로 필요한 것은 경계뿐이므로, 입력 분포 전체를 추정하지 않아 문제를 더 단순하게 푸는 셈입니다. 로지스틱 회귀, 신경망 분류기, CRF가 대표적이고, 넓은 의미로는 SVM도 포함합니다. 입력 분포에 대한 가정이 적어 가정이 틀린 상황에 강합니다. 다만 가정이 맞다면 생성 모델이 더 적은 표본으로 잘 작동할 수 있습니다. 또한 샘플을 만들 수 없고, 비레이블 데이터나 결측 입력을 다루는 데는 불리합니다. 제 실험에서도 가우시안 데이터의 작은 표본에서는 GDA가 약간 낫고, 이상점이 섞이면 로지스틱 회귀가 훨씬 나았습니다.
-
Q-86. Discriminant function이란 무엇인가?
자세한 설명 보기판별 함수는 입력을 받아 클래스별 점수를 내고, 그중 가장 큰 클래스로 분류하게 하는 함수입니다. 분류에는 어느 점수가 가장 큰지만 중요하므로, 점수가 꼭 확률일 필요는 없고 순서를 유지하는 변환을 해도 같은 분류기가 됩니다. 이진 분류는 함수 하나의 부호로 정할 수 있고, 그 값이 0인 곳이 결정 경계입니다. 예를 들어 평균이 (0, 0)과 (2, 2)이고 공분산이 단위 행렬이며 사전 확률이 같은 두 가우시안에서는, 판별 함수가 2x1 + 2x2 - 4가 되어 x1 + x2 = 2가 경계입니다. 공분산이 같으면 선형, 다르면 이차 경계가 나오는데 이것이 LDA와 QDA입니다. 이름이 비슷한 GAN의 판별자는 진짜와 가짜를 구분하도록 학습하는 신경망으로, 생성기 학습을 돕는 구성 요소입니다.
-
Q-87. Underfitting이란 무엇인가요?
자세한 설명 보기과소적합(underfitting)은 모델이 학습 데이터에 있는 패턴조차 충분히 잡아내지 못해, 학습 오차와 검증 오차가 모두 높은 상태입니다. 보통 모델의 표현력이 문제에 비해 부족하거나, 특징이 빈약하거나, 정규화가 지나치거나, 학습이 제대로 끝나지 않았을 때 생깁니다. 핵심 신호는 두 오차의 차이가 작은데도 둘 다 목표 성능이나 노이즈 수준보다 한참 높다는 점입니다. 예를 들어 사인 곡선 데이터에 직선을 맞추면 데이터를 아무리 늘려도 곡선을 표현할 수 없으므로 오차가 일정 값 아래로 내려가지 않습니다. 그래서 과소적합에서는 데이터를 더 모으기보다 모델이나 특징, 학습 과정을 먼저 고쳐야 합니다.
-
Q-88. Overfitting과 Underfitting은 어떤 문제가 있나요?
자세한 설명 보기둘 다 새로운 데이터에서 성능이 나빠지지만, 틀리는 방식이 다릅니다. 과적합은 학습 데이터의 우연한 특성까지 외운 탓에 학습 성능이 실제 성능을 부풀리고, 학습 데이터가 조금만 바뀌어도 예측이 크게 흔들립니다. 과소적합은 있는 패턴을 놓쳐서 특정 구간에서 늘 같은 방향으로 틀리고, 학습 데이터에서조차 성능이 낮습니다. 실무에서 특히 중요한 차이는 대응 비용입니다. 예를 들어 과소적합인데 데이터를 더 모으면 비용만 쓰고 성능은 거의 그대로이고, 과적합인데 모델을 더 키우면 상황이 더 나빠집니다. 그래서 학습 곡선으로 어느 쪽인지 먼저 구분하는 것이 중요합니다.
-
Q-89. Overfitting과 Underfitting을 해결하는 방법은 무엇인가요?
자세한 설명 보기해결책은 대부분 서로 반대 방향이므로, 먼저 학습 오차와 검증 오차를 보고 진단합니다. 학습 오차가 낮은데 검증 오차와의 차이가 크면 과적합이고, 데이터를 늘리거나 증강하고, L2 정규화나 드롭아웃, 조기 종료를 쓰고, 필요하면 모델을 줄입니다. 학습 오차부터 기준 성능보다 높으면 과소적합이고, 더 표현력 있는 모델과 더 나은 특징을 쓰고, 정규화를 줄이고, 학습률과 학습 시간 같은 최적화 설정을 점검합니다. 예를 들어 12차 다항식에서 정규화 강도를 키워 가면 처음에는 과적합이 줄어 테스트 오차가 내려가다가, 너무 커지면 과소적합이 되어 다시 올라갑니다. 그래서 조절 값은 정답이 있는 것이 아니라 검증 성능으로 고르고, 최종 성능은 테스트 데이터로 한 번만 확인합니다.
-
Q-90. Regularization이란 무엇인가요? (Ridge / Lasso)
자세한 설명 보기정규화는 학습 데이터에 대한 오차만 줄이지 않고 모델의 복잡도에도 제약을 걸어, 편향을 조금 늘리는 대신 분산을 줄여 일반화 성능을 높이는 기법입니다. 대표적으로 손실에 계수 크기의 벌점을 더하는데, Ridge는 계수 제곱합인 L2 벌점을, Lasso는 계수 절댓값 합인 L1 벌점을 씁니다. Ridge는 계수를 전반적으로 0 쪽으로 줄이지만 보통 정확히 0으로 만들지는 않고, Lasso는 일부 계수를 정확히 0으로 만들어 특징 선택 효과를 냅니다. 예를 들어 서로 강하게 상관된 두 변수가 있으면 Ridge는 계수를 둘에 나눠 주는 경향이 있고, Lasso는 그중 하나를 고르는 경향이 있습니다. 벌점의 세기 람다는 교차 검증으로 정하고, 특징의 단위에 영향을 받으므로 보통 먼저 표준화합니다.
-
Q-91. Activation function이란 무엇인가요? (Ridge / Radial / Folding)
자세한 설명 보기활성화 함수는 뉴런이 입력을 받아 출력을 내는 함수로, 신경망에 비선형성을 넣어 주는 역할을 합니다. 비선형 함수가 없으면 층을 아무리 쌓아도 선형 변환의 합성은 다시 선형 변환이어서, 한 층짜리 선형 모델과 표현력이 같습니다. 위키피디아의 분류로는 입력의 선형 결합에 작용하는 ridge 함수(ReLU, 시그모이드), 중심까지의 거리에 작용하는 radial 함수(가우시안 RBF), 여러 입력을 모아 값을 내는 folding 함수(풀링, 소프트맥스)가 있습니다. 다만 실무에서 더 흔한 구분은 모양에 따른 것으로, 시그모이드와 tanh 같은 포화형과 ReLU, Leaky ReLU, GELU 같은 ReLU 계열로 나눕니다. 예를 들어 은닉층에 시그모이드를 쓰면 미분값이 최대 0.25라서 깊어질수록 기울기가 빠르게 줄어들기 때문에, 요즘 은닉층의 기본값은 ReLU 계열입니다.
-
Q-92. CNN에 대해서 설명해 주세요
자세한 설명 보기CNN(합성곱 신경망)은 작은 필터를 입력의 모든 위치에 같은 가중치로 적용해 특징을 뽑는 신경망으로, 이미지처럼 격자 구조를 가진 데이터에 잘 맞습니다. 핵심 가정은 두 가지입니다. 유용한 패턴은 국소적이고(locality), 같은 패턴이 어디에 나타나도 같은 방식으로 찾을 수 있다는 것입니다(weight sharing). 그 덕분에 파라미터가 크게 줄어듭니다. 예를 들어 224×224 RGB 이미지를 은닉 유닛 1000개의 완전연결 층에 넣으면 약 1억 5천만 개가 필요하지만, 3×3 필터 64개의 합성곱 층은 1792개면 됩니다. 층을 쌓거나 풀링으로 해상도를 줄이면 수용 영역이 넓어져, 앞쪽 층에서는 에지 같은 단순한 패턴을, 뒤쪽 층에서는 물체 부분 같은 복잡한 패턴을 학습하는 경향이 있습니다. 입력을 옮기면 특징 맵도 함께 옮겨지는 등변성(equivariance)도 합성곱 연산의 특징입니다.
-
Q-93. RNN에 대해서 설명해 주세요
자세한 설명 보기RNN(순환 신경망)은 시퀀스를 한 시점씩 읽으면서, 지금까지의 정보를 담은 은닉 상태를 다음 시점으로 넘기는 신경망입니다. 모든 시점이 같은 가중치를 공유하므로 입력 길이가 달라도 처리할 수 있고, 순서 정보를 반영할 수 있습니다. 학습은 시간 축으로 펼친 그래프에 역전파를 적용하는 BPTT로 합니다. 문제는 펼친 그래프가 아주 깊어서 같은 행렬이 반복해서 곱해진다는 점입니다. 예를 들어 배율이 0.9이면 50단계 뒤 기울기는 약 0.005배로 줄고, 1.1이면 약 117배로 커집니다. 그래서 폭발에는 기울기 클리핑을, 소실에는 LSTM이나 GRU 같은 게이트 구조를 쓰고, 긴 문맥을 병렬로 다뤄야 하는 많은 작업은 지금은 Transformer가 맡고 있습니다.
-
Q-94. Newton's method란 무엇인가요?
자세한 설명 보기뉴턴법은 현재 위치에서 함수를 이차식으로 근사한 뒤, 그 이차식의 최솟값으로 바로 이동하는 2차 최적화 방법입니다. 경사하강법이 기울기만 쓰는 것과 달리 헤시안으로 곡률까지 반영하므로, 학습률을 따로 잡지 않아도 방향과 크기가 함께 정해지고 축마다 곡률이 달라도 잘 움직입니다. 해 근처에서는 오차가 매 단계 제곱으로 줄어드는 이차 수렴을 보입니다. 예를 들어 오차가 0.0625이면 다음 단계에 약 0.004, 그다음에 약 0.000015가 됩니다. 하지만 파라미터가 d개이면 헤시안 저장에 d의 제곱, 일반적인 풀이에 d의 세제곱 비용이 들고, 해에서 멀면 발산할 수 있으며, 비볼록 함수에서는 안장점으로 끌려갈 수 있습니다. 그래서 로지스틱 회귀 같은 저차원 볼록 문제에는 뉴턴법이나 L-BFGS를 쓰고, 큰 신경망에서는 보통 Adam 같은 1차 방법을 씁니다.
-
Q-95. Stochastic Gradient Descent란 무엇인가요?
자세한 설명 보기SGD(확률적 경사하강법)는 전체 데이터의 그래디언트 대신, 무작위로 뽑은 샘플 하나나 미니배치의 그래디언트로 파라미터를 업데이트하는 방법입니다. 미니배치 그래디언트는 평균적으로 전체 그래디언트와 같은 불편 추정치이고, 잡음의 크기는 배치 크기가 커질수록 줄어듭니다. 데이터는 중복이 많아서 일부만 봐도 방향을 꽤 잘 알 수 있으므로, 같은 계산량으로 훨씬 많이 업데이트할 수 있습니다. 예를 들어 데이터 1만 개의 선형 회귀라면 전체 배치는 한 에폭에 한 번 업데이트하지만, 배치 크기 32는 313번 업데이트합니다. 조건수가 약 100인 합성 문제에서 재 보니, 한 에폭 뒤 최적값과의 손실 차이가 전체 배치는 5.14, 미니배치는 0.147이었습니다. 대신 학습률을 고정하면 최적점 근처에서 잡음 때문에 일정 수준 아래로 내려가지 못하므로 학습률을 점차 줄입니다. 참고로 실무에서 SGD라고 하면 보통 미니배치 SGD를 뜻합니다.
-
Q-96. Local optimum으로 빠지는데 성능이 좋은 이유는 무엇인가요?
자세한 설명 보기완전히 해명된 문제는 아니므로, 알려진 것과 가설을 구분해서 답하겠습니다. 우선 나쁜 극소점이 항상 없는 것은 아니지만, 고차원에서는 모든 방향으로 올라가는 조건이 까다로워 임계점 중 안장점의 비중이 커지는 경향이 있고, 안장점은 잡음이 있는 경사법으로 벗어날 수 있습니다. 또한 큰 네트워크에서는 서로 다른 초기값에서 찾은 해들의 손실이 비슷한 경우가 많아, 어느 극소점에 도달하느냐가 크게 중요하지 않은 경우가 많다고 경험적으로 관찰됩니다. 일부 단순화된 모델에서는 이를 뒷받침하는 이론적 결과도 있습니다. 예를 들어 무작위 대칭 행렬 실험에서 모든 고윳값이 양수일 확률은 2차원에서 약 15%, 5차원에서 약 0.015%로 빠르게 줄어듭니다. 다만 실제 신경망의 헤시안을 그대로 나타내는 모델은 아닙니다. 왜 일반화까지 잘 되는지에 대해서는 평평한 극소점과 SGD 잡음의 암묵적 정규화가 대표적인 가설이지만, 아직 확립된 설명은 아니고 반론도 있습니다.
-
Q-97. Internal Covariate Shift란 무엇인가요?
자세한 설명 보기Internal Covariate Shift는 학습 중에 앞 층의 파라미터가 바뀌면서, 뒤 층이 받는 입력의 분포가 계속 달라지는 현상입니다. 뒤 층은 움직이는 입력에 끊임없이 다시 적응해야 하므로 학습이 느려진다는 것이 Ioffe와 Szegedy가 2015년에 배치 정규화를 제안하며 든 설명입니다. 예를 들어 어떤 층의 출력 평균이 0이었다가 앞쪽 업데이트로 1로 옮겨 가면, 다음 층에는 입력 분포가 바뀐 것처럼 보입니다. 다만 이 설명은 지금 논쟁 중입니다. Santurkar 등의 2018년 연구는 배치 정규화 뒤에 일부러 분포를 흔드는 잡음을 넣어도 성능 이득이 거의 유지되고, 배치 정규화가 그들의 측정 방식으로 이 현상을 꼭 줄이지도 않는다고 보고했습니다. 그래서 면접에서는 이것이 배치 정규화의 원래 동기였다고 답하되, 효과의 입증된 원인이라고 단정하지 않는 것이 정확합니다.
-
Q-98. Batch Normalization은 무엇이고 왜 하나요?
자세한 설명 보기배치 정규화는 층의 활성값을 특징별로 미니배치의 평균과 표준편차로 정규화한 뒤, 학습 가능한 스케일과 이동을 다시 곱하고 더하는 층입니다. 쓰는 이유는 실용적입니다. 학습이 안정되어 더 큰 학습률을 쓸 수 있고, 초기화에 덜 민감해지며, 배치마다 통계가 달라서 약한 정규화 효과도 있는 것으로 알려져 있습니다. 원 논문은 Internal Covariate Shift를 줄이기 때문이라고 설명했지만, Santurkar 등의 2018년 연구가 이에 반론을 내고 손실 지형을 매끄럽게 만들기 때문이라고 주장했으므로, 메커니즘은 아직 논쟁 중이라고 답하는 것이 정확합니다. 구현에서 중요한 점은 학습과 추론의 동작이 다르다는 것입니다. 학습 때는 현재 배치의 통계를 쓰고, 추론 때는 학습 중 누적한 이동 평균을 씁니다. 예를 들어 배치 크기가 2 정도로 작으면 통계에 잡음이 커서 성능이 나빠질 수 있으므로, 이런 경우나 시퀀스 모델에서는 Group Norm이나 Layer Norm을 고려합니다.
-
Q-99. Optimizer의 종류와 차이에 대해서 알고 있나요?
자세한 설명 보기옵티마이저는 크게 그래디언트의 방향을 다듬는 계열과 파라미터별 스텝 크기를 조절하는 계열로 나눌 수 있습니다. 모멘텀은 과거 그래디언트를 누적해 일관된 방향으로 가속하고 진동을 줄이며, Nesterov는 앞을 내다본 지점에서 그래디언트를 계산합니다. AdaGrad는 그래디언트 제곱의 누적으로 나눠 자주 크게 변하는 파라미터의 스텝을 줄이지만, 누적이 계속 커져 학습률이 지나치게 작아지기 쉽고, RMSProp은 이를 지수 이동 평균으로 바꿔 해결합니다. Adam은 모멘텀과 RMSProp을 합치고 초기 편향까지 보정한 방법이며, AdamW는 weight decay를 그래디언트와 분리해 적응형 스케일링의 영향을 받지 않게 합니다. 예를 들어 빠르게 좋은 결과가 필요하거나 Transformer를 학습할 때는 AdamW를 자주 쓰고, 이미지 분류에서는 학습률 일정을 잘 맞춘 모멘텀 SGD도 여전히 많이 씁니다. 어느 하나가 항상 이기는 것은 아니므로, 문제와 튜닝 예산에 따라 고릅니다.
-
Q-100. Ensemble이란?
자세한 설명 보기앙상블(ensemble)은 여러 모델의 예측을 투표나 평균 등으로 결합해 하나의 예측을 만드는 방법입니다. 모델마다 틀리는 지점이 다르면 결합 과정에서 개별 오차가 서로 상쇄되기 때문에 성능이 좋아집니다. 예를 들어 정확도 70%인 분류기 5개의 오차가 서로 독립이라면 다수결 정확도는 약 83.7%까지 오릅니다. 다만 이것은 독립이라는 이상적인 가정에서의 값이고, 실제 모델들은 오차가 상관되어 있어 이득이 더 작습니다. 그래서 앙상블의 핵심은 모델 수보다 다양성이며, 대표적인 방식으로 분산을 줄이는 배깅, 편향을 줄이는 부스팅, 예측을 다시 학습하는 스태킹이 있습니다.
-
Q-101. Stacking Ensemble이란?
자세한 설명 보기스태킹(stacking)은 여러 기본 모델의 예측값을 입력으로 받아, 이를 어떻게 결합할지를 메타 모델이 학습하게 하는 앙상블입니다. 단순 평균은 모든 모델을 같은 비중으로 다루지만, 메타 모델은 어떤 모델을 얼마나 믿을지 데이터에서 배울 수 있습니다. 예를 들어 랜덤 포레스트, SVM, 신경망의 예측을 특징으로 삼아 로지스틱 회귀를 학습시킵니다. 가장 중요한 점은 메타 모델의 학습 데이터로 기본 모델의 out-of-fold 예측을 써야 한다는 것입니다. 기본 모델이 이미 본 데이터에 대한 예측을 쓰면 과적합된 모델을 과하게 신뢰하게 되어 테스트 성능이 나빠집니다.
-
Q-102. Bagging이란?
자세한 설명 보기배깅(bagging, bootstrap aggregating)은 학습 데이터에서 복원 추출한 표본마다 모델을 따로 학습하고, 예측을 평균하거나 투표로 결합하는 방법입니다. 데이터가 조금 달라지면 예측이 크게 흔들리는 모델의 분산을 평균으로 줄이는 것이 목적입니다. 그래서 깊은 의사결정나무처럼 편향은 낮고 분산은 큰 모델에 효과가 크고, 선형 회귀처럼 안정적인 모델에는 효과가 작습니다. 대표적인 예가 랜덤 포레스트로, 배깅에 특징 무작위 선택을 더해 나무 사이의 상관을 더 낮춥니다. 각 모델은 병렬로 학습할 수 있고, 학습에 쓰이지 않은 out-of-bag 샘플로 별도의 검증 세트 없이 성능을 추정할 수도 있습니다.
-
Q-103. Bootstrapping이란?
자세한 설명 보기부트스트래핑(bootstrapping)은 가지고 있는 표본에서 같은 크기로 복원 추출을 반복해, 어떤 통계량이 표본에 따라 얼마나 변하는지 추정하는 방법입니다. 모집단에서 새 표본을 더 뽑을 수 없으므로, 표본을 모집단의 대용으로 삼아 재추출을 하는 것입니다. 예를 들어 중앙값은 표준오차 공식이 간단하지 않은데, 재표본마다 중앙값을 계산하면 그 분포로부터 표준오차와 신뢰구간을 구할 수 있습니다. 머신러닝에서는 배깅이 이 방법으로 학습 데이터를 다양화하며, 크기 \(n\)의 재표본에는 고유한 샘플이 평균 약 63.2% 들어갑니다. 다만 새로운 정보를 만드는 것은 아니어서, 원본 표본이 작거나 치우쳐 있으면 추정도 그 한계를 그대로 가집니다.
-
Q-104. Boosting이란?
자세한 설명 보기부스팅(boosting)은 성능이 낮은 약한 모델을 순차적으로 학습해, 각 모델이 앞선 모델들이 틀린 부분을 보완하도록 만드는 앙상블입니다. 단순한 모델도 조금씩 오차를 고쳐 가며 더하면 복잡한 함수를 표현할 수 있기 때문에 주로 편향을 줄입니다. AdaBoost는 틀린 샘플의 가중치를 높이고, Gradient Boosting은 손실의 음의 기울기를 다음 모델의 목표로 삼습니다. 표 형태의 데이터에서 널리 쓰이는 XGBoost와 LightGBM이 대표적인 구현입니다. 다만 순차적으로 오차에 집중하므로 노이즈에 민감할 수 있어서, 학습률과 나무 깊이를 제한하고 조기 종료를 함께 사용합니다.
-
Q-105. Bagging과 Boosting의 차이는?
자세한 설명 보기가장 큰 차이는 학습 방식과 줄이는 오차의 종류입니다. 배깅은 서로 다른 부트스트랩 표본으로 모델을 독립적으로 학습해 평균하므로 주로 분산을 줄이고, 부스팅은 앞선 모델의 오차를 보완하도록 순차적으로 학습하므로 주로 편향을 줄입니다. 그래서 배깅에는 깊은 나무처럼 분산이 큰 모델이, 부스팅에는 스텀프나 얕은 나무처럼 편향이 큰 모델이 어울립니다. 예를 들어 랜덤 포레스트는 나무를 많이 추가해도 과적합이 크게 심해지지 않지만, Gradient Boosting은 나무가 너무 많으면 과적합될 수 있어 조기 종료가 필요합니다. 실무에서는 튜닝이 간단하고 노이즈에 강한 쪽을 원하면 배깅 계열을, 튜닝을 감수하고 예측 성능을 높이려면 부스팅 계열을 먼저 시도합니다.
-
Q-106. AdaBoost / Logit Boost / Gradient Boost
자세한 설명 보기세 방법은 모두 약한 모델을 순차적으로 더하는 부스팅이며, 어떤 손실을 어떻게 줄이는지가 다릅니다. AdaBoost는 틀린 샘플의 가중치를 높이는 방식으로, 나중에 지수 손실을 단계적으로 최소화하는 것과 같다는 사실이 밝혀졌습니다. LogitBoost는 지수 손실 대신 로지스틱 손실을 뉴턴 방식으로 최소화해서, 크게 틀린 샘플에 대한 벌점이 덜 급격하고 노이즈에 덜 민감합니다. Gradient Boosting은 손실의 음의 기울기, 즉 의사 잔차를 다음 모델이 근사하게 해서 미분 가능한 손실이면 무엇이든 쓸 수 있게 일반화한 방법입니다. 예를 들어 제곱 손실에서는 의사 잔차가 곧 실제 잔차이므로 잔차를 맞추는 나무를 계속 더하는 알고리즘이 되고, 이 유연성 덕분에 실무에서 가장 널리 쓰입니다.
-
Q-107. Support Vector Machine이란 무엇인가?
자세한 설명 보기SVM(support vector machine)은 두 클래스를 나누는 초평면 중에서 가장 가까운 샘플까지의 거리, 즉 마진이 가장 큰 초평면을 찾는 분류 모델입니다. 경계와 가까운 샘플까지 여유를 크게 두면 새 데이터의 작은 변화에도 예측이 덜 바뀌기 때문입니다. 결정 경계는 경계에 가장 가까운 서포트 벡터만으로 정해지고, 나머지 샘플은 조금 움직여도 경계에 영향을 주지 않습니다. 데이터가 완벽히 나뉘지 않으면 슬랙 변수로 위반을 허용하고, 이때 C가 위반에 대한 벌점을 조절합니다. 비선형 문제는 RBF 같은 커널로 해결합니다. 예를 들어 원 안팎으로 나뉘는 데이터도 RBF 커널을 쓰면 입력 공간에서 곡선 경계를 만들 수 있습니다.
-
Q-108. Margin을 최대화하면 어떤 장점이 있는가?
자세한 설명 보기마진을 최대화하면 일반화와 안정성 측면에서 장점이 있습니다. 첫째, 경계와 샘플 사이 여유가 커서 입력이 마진보다 작게 변해도 학습 샘플 근처의 예측은 바뀌지 않습니다. 둘째, 마진이 크면 입력 차원이 높아도 모델의 유효 복잡도가 제한된다는 이론적 일반화 상한이 있습니다. 셋째, 볼록 문제여서 초평면이 유일하게 정해지고, 해가 서포트 벡터에만 의존합니다. 다만 마진이 크다고 테스트 성능이 반드시 좋아지는 것은 아닙니다. 간단한 시뮬레이션에서는 퍼셉트론과 차이가 거의 없는 경우도 있고, 하드 마진은 이상치 하나에도 크게 흔들리므로 실제로는 소프트 마진을 씁니다.
Linear Algebra 12
-
Q-109. Linearly Independent란?
자세한 설명 보기벡터들이 선형 독립(linearly independent)이라는 것은 어떤 벡터도 나머지 벡터들의 선형 결합으로 만들 수 없다는 뜻입니다. 수식으로는 계수를 곱해 더한 값이 영벡터가 되는 경우가 계수가 모두 0일 때뿐이라는 조건입니다. 즉, 모든 벡터가 새로운 방향을 하나씩 더해 주어 중복이 없습니다. 예를 들어 (1, 0, 1), (0, 1, 1)은 독립이지만, 여기에 두 벡터의 합인 (1, 1, 2)를 추가하면 종속입니다. 머신러닝에서는 특징 행렬의 열이 종속이면 정규 방정식의 행렬을 역행렬로 풀 수 없고 회귀 계수가 유일하게 정해지지 않아 중요합니다.
-
Q-110. Basis와 Dimension이란 무엇인가?
자세한 설명 보기기저(basis)는 어떤 공간의 모든 벡터를 만들 수 있으면서 서로 선형 독립인 벡터 집합이고, 차원(dimension)은 그 기저에 들어 있는 벡터의 개수입니다. 독립 조건 덕분에 중복이 없어서, 공간의 각 벡터를 기저의 결합으로 나타내는 방법이 정확히 하나로 정해집니다. 기저 자체는 여러 가지이지만 벡터의 개수는 항상 같아서, 차원은 공간 고유의 값입니다. 예를 들어 평면에서는 (1, 0), (0, 1)도 기저이고 (1, 1), (1, -1)도 기저이며, 어느 쪽이든 벡터가 두 개이므로 차원은 2입니다. 머신러닝에서 PCA는 데이터를 잘 설명하는 새 기저를 찾고, 그중 일부만 남겨 차원을 줄이는 방법으로 볼 수 있습니다.
-
Q-111. Null space란 무엇인가?
자세한 설명 보기영공간(null space)은 행렬 A에 곱했을 때 영벡터가 되는 모든 벡터 x의 집합, 즉 Ax = 0의 해 집합입니다. 이 방향으로 입력을 바꿔도 출력이 전혀 변하지 않으므로, 행렬이 구분하지 못하고 잃어버리는 입력 정보를 나타냅니다. 따라서 영공간에 영벡터 외의 벡터가 있으면 Ax = b의 해가 존재할 때 유일하지 않습니다. 예를 들어 특징이 샘플보다 많은 선형 회귀에서는 영공간이 항상 존재해서, 학습 오차가 같은 계수가 무수히 많습니다. 그래서 릿지 정규화나 최소 노름 해처럼 추가 기준으로 해를 하나 고릅니다.
-
Q-112. Symmetric Matrix란?
자세한 설명 보기대칭 행렬(symmetric matrix)은 전치해도 자기 자신과 같은, 즉 모든 i, j에서 (i, j) 성분과 (j, i) 성분이 같은 정방행렬입니다. 대칭 행렬이 중요한 이유는 스펙트럴 정리 때문으로, 고유값이 모두 실수이고 서로 직교하는 고유벡터의 기저를 항상 가집니다. 이 덕분에 행렬을 서로 수직인 축 방향의 단순한 늘림과 줄임으로 해석할 수 있습니다. 머신러닝에서는 공분산 행렬, 헤시안, 커널 행렬이 모두 대칭이어서 자주 등장합니다. 예를 들어 PCA는 대칭인 공분산 행렬을 직교 대각화해 주성분을 구합니다.
-
Q-113. Positive-definite란?
자세한 설명 보기대칭 행렬 A가 양의 정부호(positive-definite)라는 것은 0이 아닌 모든 벡터 x에 대해 x 전치 A x가 양수라는 뜻이고, 고유값이 모두 양수라는 조건과 동치입니다. 기하학적으로는 어느 방향으로 가도 값이 커지는 그릇 모양의 2차 함수에 해당해, 최솟값이 하나뿐입니다. 그래서 어떤 임계점에서 헤시안이 양의 정부호이면 그 점은 극솟값입니다. 예를 들어 공분산 행렬은 항상 양의 준정부호이고, 어떤 특징도 다른 특징의 선형 결합이 아니면 양의 정부호가 됩니다. 주의할 점은 성분이 전부 양수라고 양의 정부호인 것은 아니라는 것으로, [[1, 2], [2, 1]]은 고유값 -1을 가집니다.
-
Q-114. Rank란 무엇인가?
자세한 설명 보기랭크(rank)는 행렬에서 선형 독립인 열의 최대 개수이고, 행렬이 만들어 낼 수 있는 출력 공간의 차원입니다. 신기하게도 독립인 행의 최대 개수와 항상 같으므로, 랭크는 행렬에 실제로 담긴 독립적인 정보의 양으로 볼 수 있습니다. 예를 들어 (1, 2, 3), (2, 4, 6), (1, 0, 1)을 행으로 갖는 행렬은 둘째 행이 첫째 행의 2배이므로 랭크가 2입니다. 실제 계산에서는 노이즈 때문에 값이 정확히 0이 되지 않으므로, 특이값을 구해 허용 오차보다 큰 값의 개수로 판단합니다. 머신러닝에서는 추천 시스템의 행렬 분해처럼, 큰 데이터 행렬이 낮은 랭크로 근사된다는 가정이 자주 쓰입니다.
-
Q-115. Determinant가 의미하는 바는 무엇인가?
자세한 설명 보기행렬식(determinant)은 행렬을 선형 변환으로 봤을 때 부피가 몇 배로 변하는지를 나타내는 값이고, 부호는 방향이 뒤집히는지를 알려 줍니다. 값이 0이면 공간이 더 낮은 차원으로 납작해지는 것이어서 정보가 사라지고 역행렬이 존재하지 않습니다. 예를 들어 [[3, 1], [1, 2]]의 행렬식은 5이고, 넓이 1인 단위 정사각형을 넓이 5인 평행사변형으로 옮깁니다. 행렬식은 고유값들의 곱과 같습니다. 머신러닝에서는 정규 분포의 밀도와 normalizing flow의 변수 변환에서 부피 변화를 보정하는 항으로 쓰입니다.
-
Q-116. Eigen Vector는 무엇인가?
자세한 설명 보기고유벡터(eigenvector)는 행렬을 곱해도 방향이 유지되고 크기만 변하는 0이 아닌 벡터이며, 그 배율을 고유값이라고 합니다. 식으로는 Av = λv입니다. 대부분의 벡터는 행렬을 곱하면 방향이 바뀌므로, 고유벡터는 그 변환의 고유한 축이라고 볼 수 있습니다. 예를 들어 [[2, 1], [1, 2]]에 (1, 1)을 곱하면 (3, 3)이 되어 방향이 같고 크기만 3배가 되지만, (1, 0)을 곱하면 (2, 1)이 되어 방향이 바뀝니다. 고유값을 부호까지 포함해 생각하므로 방향이 반대로 뒤집히는 경우도 고유벡터에 포함됩니다. 또한 고유벡터는 크기가 정해져 있지 않아, 0이 아닌 상수를 곱해도 같은 고유값의 고유벡터입니다.
-
Q-117. Eigen Vector는 왜 중요한가?
자세한 설명 보기고유벡터가 중요한 이유는 복잡한 행렬 변환을 서로 간섭하지 않는 축별 곱셈으로 분해해 주기 때문입니다. 고유벡터 방향에서는 행렬이 단순히 스칼라 곱처럼 작동하므로, 행렬의 거듭제곱이나 장기적인 동작을 분석하기 쉬워집니다. 예를 들어 마르코프 연쇄를 오랫동안 반복하면 고유값 1의 고유벡터인 정상 분포로 수렴합니다. 머신러닝에서는 PCA의 주성분이 공분산 행렬의 고유벡터이고, 스펙트럴 클러스터링은 그래프 라플라시안의 고유벡터로 군집 구조를 찾습니다. 최적화에서도 헤시안의 고유벡터가 곡률이 큰 방향과 작은 방향을 알려 주어 수렴 속도를 설명합니다.
-
Q-118. Eigen Value란?
자세한 설명 보기고유값(eigenvalue)은 Av = λv에서 고유벡터 방향으로 행렬이 벡터를 몇 배 하는지를 나타내는 스칼라 λ입니다. 절댓값이 1보다 크면 그 방향으로 늘어나고, 1보다 작으면 줄어들며, 음수이면 뒤집히고, 0이면 그 방향의 정보가 사라집니다. 고유값의 합은 대각합, 곱은 행렬식과 같아서 행렬의 전체적인 성질을 요약합니다. 예를 들어 PCA에서 공분산 행렬의 고유값은 각 주성분의 분산이어서, 고유값이 4와 1이면 첫 주성분이 전체 분산의 80%를 설명합니다. 또 헤시안의 고유값은 곡률이어서 경사하강법의 학습률 상한과 수렴 속도를 결정합니다.
-
Q-119. SVD란 무엇인가? 중요한 이유는?
자세한 설명 보기SVD(singular value decomposition, 특이값 분해)는 임의의 행렬을 A = UΣV 전치로 분해하는 방법입니다. U와 V는 직교 행렬이고, Σ는 0 이상의 특이값을 담은 대각 행렬입니다. 기하학적으로는 어떤 선형 변환이든 회전 또는 반사, 축 방향 스케일링, 회전 또는 반사의 순서로 나타낼 수 있다는 뜻입니다. 고유값 분해와 달리 정방행렬이 아니어도 항상 존재하고, 큰 특이값만 남기면 랭크가 낮은 근사 중 오차가 가장 작은 행렬이 되어 중요합니다. 또한 랭크와 조건수를 알려 주고 수치적으로 안정적이어서, 의사역행렬과 최소제곱 계산에 쓰입니다. 예를 들어 PCA는 보통 중심화한 데이터 행렬의 SVD로 계산하고, 추천 시스템과 잠재 의미 분석도 같은 원리의 저랭크 근사를 사용합니다.
-
Q-120. Jacobian Matrix란 무엇인가?
자세한 설명 보기야코비 행렬(Jacobian matrix)은 벡터를 입력받아 벡터를 내는 함수의 모든 1차 편미분을 모은 행렬입니다. 입력이 n차원, 출력이 m차원이면 크기는 m × n이고, (i, j) 성분은 i번째 출력을 j번째 입력으로 미분한 값입니다. 의미상으로는 스칼라 함수의 미분을 일반화한 것으로, 어떤 점 근처에서 비선형 함수를 가장 잘 근사하는 선형 변환입니다. 합성 함수의 야코비 행렬은 각 함수의 야코비 행렬의 곱이므로, 역전파는 이 곱을 출력 쪽부터 효율적으로 계산하는 방법입니다. 예를 들어 극좌표 변환의 야코비 행렬식은 r이고, 이것이 넓이 요소가 r dr dθ가 되는 이유입니다. Normalizing flow에서도 야코비 행렬식의 로그로 변환에 따른 밀도 변화를 보정합니다.
Diffusion Models Beat GANs on Image Synthesis
2026After R20
3 wins · 12 podiums · 4 DNF in 20 races
Max VerstappenP2279 pts · 3 wins
Red BullP3415 pts
Drivers' leaderAndrea Kimi AntonelliMercedes · 390 pts
Constructors' leaderMercedes652 pts
2025Final
8 wins · 15 podiums · 1 DNF in 24 races
Max VerstappenP2421 pts · 8 wins
Red BullP3451 pts
Drivers' championLando NorrisMcLaren · 423 pts
Constructors' championMcLaren833 pts
2024Final
9 wins · 14 podiums · 1 DNF in 24 races
Max VerstappenP1437 pts · 9 wins
Red BullP3589 pts
Drivers' championMax VerstappenRed Bull · 437 pts
Constructors' championMcLaren666 pts
2023Final
19 wins · 21 podiums in 22 races
Max VerstappenP1575 pts · 19 wins
Red BullP1860 pts
Drivers' championMax VerstappenRed Bull · 575 pts
Constructors' championRed Bull860 pts
2022Final
15 wins · 17 podiums · 2 DNF in 22 races
Max VerstappenP1454 pts · 15 wins
Red BullP1759 pts
Drivers' championMax VerstappenRed Bull · 454 pts
Constructors' championRed Bull759 pts
2021Final
10 wins · 18 podiums · 3 DNF in 22 races
Max VerstappenP1395.5 pts · 10 wins
Red BullP2585.5 pts
Drivers' championMax VerstappenRed Bull · 395.5 pts
Constructors' championMercedes613.5 pts
2026 schedule
2026 standings
| Pos | Driver | Team | Wins | Pts |
|---|---|---|---|---|
| 1 | Andrea Kimi Antonelli | Mercedes | 9 | 390.0 |
| 2 | Max Verstappen | Red Bull | 3 | 279.0 |
| 3 | George Russell | Mercedes | 3 | 262.0 |
| 4 | Lewis Hamilton | Ferrari | 1 | 261.0 |
| 5 | Charles Leclerc | Ferrari | 1 | 249.0 |
| 6 | Lando Norris | McLaren | 3 | 246.0 |
| 7 | Oscar Piastri | McLaren | 0 | 152.0 |
| 8 | Isack Hadjar | Red Bull | 0 | 122.0 |
| 9 | Liam Lawson | Red Bull | 0 | 89.0 |
| 10 | Pierre Gasly | Alpine F1 Team | 0 | 42.0 |
| 11 | Arvid Lindblad | RB F1 Team | 0 | 38.0 |
| 12 | Franco Colapinto | Alpine F1 Team | 0 | 27.0 |
| 13 | Oliver Bearman | Haas F1 Team | 0 | 23.0 |
| 14 | Gabriel Bortoleto | Audi | 0 | 14.0 |
| 15 | Nico Hülkenberg | Audi | 0 | 14.0 |
| 16 | Esteban Ocon | Haas F1 Team | 0 | 7.0 |
| 17 | Fernando Alonso | Aston Martin | 0 | 7.0 |
| 18 | Carlos Sainz | Williams | 0 | 7.0 |
| 19 | Alexander Albon | Williams | 0 | 5.0 |
| 20 | Yuki Tsunoda | RB F1 Team | 0 | 1.0 |
| 21 | Ryo Hirakawa | Haas F1 Team | 0 | 1.0 |
| 22 | Lance Stroll | Aston Martin | 0 | 0.0 |
| 23 | Valtteri Bottas | Cadillac F1 Team | 0 | 0.0 |
| 24 | Sergio Pérez | Cadillac F1 Team | 0 | 0.0 |
| 25 | Rafael Camara | Haas F1 Team | 0 | 0.0 |
| Pos | Team | Wins | Pts |
|---|---|---|---|
| 1 | Mercedes | 12 | 652.0 |
| 2 | Ferrari | 2 | 510.0 |
| 3 | Red Bull | 3 | 415.0 |
| 4 | McLaren | 3 | 398.0 |
| 5 | RB F1 Team | 0 | 114.0 |
| 6 | Alpine F1 Team | 0 | 69.0 |
| 7 | Haas F1 Team | 0 | 31.0 |
| 8 | Audi | 0 | 28.0 |
| 9 | Williams | 0 | 12.0 |
| 10 | Aston Martin | 0 | 7.0 |
| 11 | Cadillac F1 Team | 0 | 0.0 |
Pins mark every circuit raced in the last five seasons. Click a country, a pin, or a circuit in the list.
2026 calendar
Drivers racing this season, in championship order. Standings after round 20.
Andrea Kimi Antonelli
#12 ANT · Italian
Mercedes
9wins
390 pts
2
Max Verstappen
#3 VER · Dutch
Red Bull
3wins
279 pts
3
George Russell
#63 RUS · British
Mercedes
3wins
262 pts
4
Lewis Hamilton
#44 HAM · British
Ferrari
1win
261 pts
5
Charles Leclerc
#16 LEC · Monegasque
Ferrari
1win
249 pts
6
Lando Norris
#1 NOR · British
McLaren
3wins
246 pts
7
Oscar Piastri
#81 PIA · Australian
McLaren
0wins
152 pts
8
Isack Hadjar
#6 HAD · French
Red Bull
0wins
122 pts
9
Liam Lawson
#30 LAW · New Zealander
Red Bull
0wins
89 pts
10
Pierre Gasly
#10 GAS · French
Alpine F1 Team
0wins
42 pts
11
Arvid Lindblad
#41 LIN · British
RB F1 Team
0wins
38 pts
12
Franco Colapinto
#43 COL · Argentine
Alpine F1 Team
0wins
27 pts
13
Oliver Bearman
#87 BEA · British
Haas F1 Team
0wins
23 pts
14
Gabriel Bortoleto
#5 BOR · Brazilian
Audi
0wins
14 pts
15
Nico Hülkenberg
#27 HUL · German
Audi
0wins
14 pts
16
Esteban Ocon
#31 OCO · French
Haas F1 Team
0wins
7 pts
17
Fernando Alonso
#14 ALO · Spanish
Aston Martin
0wins
7 pts
18
Carlos Sainz
#55 SAI · Spanish
Williams
0wins
7 pts
19
Alexander Albon
#23 ALB · Thai
Williams
0wins
5 pts
20
Yuki Tsunoda
#22 TSU · Japanese
RB F1 Team
0wins
1 pts
21
HIR
Ryo Hirakawa
#50 HIR · Japanese
Haas F1 Team
0wins
1 pts
22
Lance Stroll
#18 STR · Canadian
Aston Martin
0wins
0 pts
23
Valtteri Bottas
#77 BOT · Finnish
Cadillac F1 Team
0wins
0 pts
24
Sergio Pérez
#11 PER · Mexican
Cadillac F1 Team
0wins
0 pts
25
Rafael Camara
# ·
Haas F1 Team
0wins
0 pts