3 Inseok Kong Schedule

Q-109. Linearly Independent란?

벡터들이 선형 독립이라는 것은 어느 벡터도 나머지의 선형 결합으로 표현되지 않는다는 뜻이며, 영벡터를 만드는 결합은 계수가 모두 0인 경우뿐이다.

면접 답변

벡터들이 선형 독립(linearly independent)이라는 것은 어떤 벡터도 나머지 벡터들의 선형 결합으로 만들 수 없다는 뜻입니다. 수식으로는 계수를 곱해 더한 값이 영벡터가 되는 경우가 계수가 모두 0일 때뿐이라는 조건입니다. 즉, 모든 벡터가 새로운 방향을 하나씩 더해 주어 중복이 없습니다. 예를 들어 (1, 0, 1), (0, 1, 1)은 독립이지만, 여기에 두 벡터의 합인 (1, 1, 2)를 추가하면 종속입니다. 머신러닝에서는 특징 행렬의 열이 종속이면 정규 방정식의 행렬을 역행렬로 풀 수 없고 회귀 계수가 유일하게 정해지지 않아 중요합니다.

자세한 설명

정의

벡터 \(\mathbf{v}_1, \dots, \mathbf{v}_k\)에 대해 다음 식이 \(c_1 = \dots = c_k = 0\)일 때만 성립하면 선형 독립이고, 0이 아닌 계수로도 성립하면 선형 종속이다.

\[c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \dots + c_k\mathbf{v}_k = \mathbf{0}\]

\(c_j \ne 0\)이면 식을 \(\mathbf{v}_j\)에 대해 풀 수 있으므로, 종속은 곧 어떤 벡터가 나머지의 선형 결합이라는 뜻이다.

판별 방법

벡터를 열로 쌓은 행렬 \(A\)에 대해, 벡터들이 독립인 것과 다음은 모두 동치이다.

  • \(A\mathbf{c} = \mathbf{0}\)의 해가 \(\mathbf{c} = \mathbf{0}\)뿐이다.
  • \(\text{rank}(A) = k\)이다.
  • \(A\)의 영공간이 \(\{\mathbf{0}\}\)이다.

\(k\)가 차원 \(n\)과 같은 정방행렬이면 \(\det A \ne 0\)도 동치이다.

수치 예제. \(\mathbf{v}_1 = (1, 0, 1)\), \(\mathbf{v}_2 = (0, 1, 1)\), \(\mathbf{v}_3 = (1, 1, 2)\)를 열로 쌓은 행렬의 특이값은 3, 1, 0이고 랭크는 2이다. 실제로 \(\mathbf{v}_1 + \mathbf{v}_2 - \mathbf{v}_3 = \mathbf{0}\)이다. 이 세 벡터는 어느 두 개도 평행하지 않은데 전체로는 종속이다. 즉, 쌍별로 평행하지 않다는 것만으로는 독립을 판단할 수 없다.

자주 쓰는 사실

  • 영벡터를 포함하면 항상 종속이다.
  • \(\mathbb{R}^n\)에서 \(n\)개보다 많은 벡터는 항상 종속이다.
  • 0이 아닌 벡터들이 서로 직교하면 독립이다. 역은 성립하지 않는다. \((1, 0)\)과 \((1, 1)\)은 독립이지만 직교하지 않는다.

머신러닝에서의 의미

선형 회귀 해 \(\hat{\boldsymbol{\beta}} = (X^\top X)^{-1}X^\top\mathbf{y}\)는 \(X\)의 열이 독립일 때만 이 식으로 구할 수 있다. 다음 경우 독립이 깨진다.

  • 더미 변수 함정: 절편이 있는데 범주의 원-핫 열을 모두 넣으면 그 합이 절편 열과 같다.
  • 단위만 다른 특징: 섭씨와 화씨 온도를 함께 넣으면 한 열이 다른 열과 절편의 선형 결합이다.
  • 샘플보다 많은 특징: \(d > n\)이면 열이 반드시 종속이다.

완전히 종속이 아니라 거의 종속인 다중공선성(multicollinearity)도 문제이다. 역행렬은 존재하지만 계수의 분산이 커져 불안정해진다.

관련 개념

  • 기저: 공간을 생성하는 선형 독립인 벡터 집합이다. Q-110에서 다룬다.
  • 랭크: 독립인 열의 최대 개수이다. Q-114를 참고한다.
  • 기하학적 설명: 독립과 종속의 그림과 유도는 Linear Algebra 3에서 다룬다.
  • 릿지 회귀: \(\lambda I\)를 더해 공선성 문제를 완화한다. Q-90을 참고한다.

꼬리 질문

Q. 선형 독립과 통계적 독립은 같은 개념인가요? 다릅니다. 선형 독립은 고정된 벡터 사이의 대수적 성질이고, 통계적 독립은 확률 변수의 결합 분포에 대한 성질입니다.

Q. 수치 계산에서 독립 여부는 어떻게 판단하나요? 행렬식이나 정확한 소거는 반올림 오차에 약하므로, 특이값을 계산해 허용 오차보다 작은 값이 있는지 봅니다.

Q. 함수에도 선형 독립을 정의할 수 있나요? 네. 함수도 벡터 공간의 원소이기 때문입니다. 예를 들어 \(1, x, x^2\)은 독립이며, 다항 회귀의 특징은 이 함수들을 사용합니다.