3 Inseok Kong Schedule

Q-111. Null space란 무엇인가?

영공간은 행렬을 곱하면 영벡터가 되는 모든 입력 벡터의 집합으로, 선형 시스템의 해가 유일한지와 어떤 입력 변화가 출력에 나타나지 않는지를 알려 준다.

면접 답변

영공간(null space)은 행렬 A에 곱했을 때 영벡터가 되는 모든 벡터 x의 집합, 즉 Ax = 0의 해 집합입니다. 이 방향으로 입력을 바꿔도 출력이 전혀 변하지 않으므로, 행렬이 구분하지 못하고 잃어버리는 입력 정보를 나타냅니다. 따라서 영공간에 영벡터 외의 벡터가 있으면 Ax = b의 해가 존재할 때 유일하지 않습니다. 예를 들어 특징이 샘플보다 많은 선형 회귀에서는 영공간이 항상 존재해서, 학습 오차가 같은 계수가 무수히 많습니다. 그래서 릿지 정규화나 최소 노름 해처럼 추가 기준으로 해를 하나 고릅니다.

자세한 설명

정의와 성질

\(m \times n\) 행렬 \(A\)의 영공간은 다음과 같다. 핵(kernel)이라고도 한다.

\[N(A) = \{\mathbf{x} \in \mathbb{R}^n : A\mathbf{x} = \mathbf{0}\}\]

\(A\mathbf{x} = \mathbf{0}\), \(A\mathbf{y} = \mathbf{0}\)이면 \(A(a\mathbf{x} + b\mathbf{y}) = \mathbf{0}\)이므로 \(N(A)\)는 부분 공간이다. 또한 다음이 성립한다.

  • 랭크-널리티 정리: \(\text{rank}(A) + \dim N(A) = n\)이다. 입력의 \(n\)개 차원은 출력으로 보존되는 것과 사라지는 것으로 나뉜다.
  • 행 공간과의 직교: \(A\mathbf{x} = \mathbf{0}\)은 \(\mathbf{x}\)가 모든 행과 직교한다는 뜻이다. 따라서 \(N(A)\)는 행 공간의 직교 여공간이다.

수치 예제

다음 행렬은 랭크 2이고 열이 3개이므로 영공간의 차원은 1이다.

\[A = \begin{bmatrix} 1 & 0 & 1 \\ 0 & 1 & 1 \end{bmatrix}\]

\(x_1 + x_3 = 0\), \(x_2 + x_3 = 0\)에서 \(N(A)\)는 \((-1, -1, 1)\)이 생성하는 직선이다.

\(\mathbf{b} = (2, 3)\)일 때 특수해 하나는 \(\mathbf{x}_p = (2, 3, 0)\)이고, 일반해는 특수해에 영공간을 더한 것이다.

\[\mathbf{x} = (2, 3, 0) + t(-1, -1, 1)\]

어떤 \(t\)를 골라도 \(A\mathbf{x} = \mathbf{b}\)이다. 이 중 노름이 가장 작은 해는 \(t = 5/3\)일 때의 \((1/3, 4/3, 5/3)\)이다. 이 값은 의사역행렬로 구한 \(A^{+}\mathbf{b}\)와 같고, 영공간 벡터와 직교한다.

계산 방법

SVD \(A = U\Sigma V^\top\)에서 특이값이 0인 항에 대응하는 \(V\)의 열들이 영공간의 직교 정규 기저이다. 수치 계산에서는 정확히 0인 경우가 드물어 허용 오차보다 작은 특이값을 0으로 본다.

머신러닝에서의 의미

  • 과매개변수화: \(d > n\)인 선형 회귀에서 \(\dim N(X) \ge d - n\)이다. 영공간 방향으로 계수를 옮겨도 학습 예측이 같으므로 학습 데이터만으로 해를 정할 수 없다.
  • 해의 선택: 릿지 정규화를 \(\lambda \to 0^{+}\)로 보내면 최소 노름 해로 수렴한다. 선형 회귀에서 0에서 시작한 경사하강법도 행 공간을 벗어나지 않아 같은 해로 수렴한다.
  • 식별 가능성: 공선성이 있으면 영공간 방향의 계수 조합을 데이터로 구분할 수 없다.

관련 개념

  • 선형 독립: 열들이 독립인 것과 \(N(A) = \{\mathbf{0}\}\)은 동치이다. Q-109를 참고한다.
  • 랭크: 랭크-널리티 정리로 영공간의 차원과 연결된다. Q-114를 참고한다.
  • SVD와 영공간: 네 부분 공간과의 관계는 Linear Algebra 9에서 다룬다.
  • 고유값 0: 정방행렬에서 영공간의 0이 아닌 벡터는 고유값 0에 대응하는 고유벡터이다. Q-116을 참고한다.

꼬리 질문

Q. \(A\mathbf{x} = \mathbf{b}\)의 해는 항상 있나요? 아닙니다. \(\mathbf{b}\)가 열 공간에 있어야 해가 존재합니다. 영공간은 해가 있을 때 몇 개인지를 결정합니다.

Q. \(N(A)\)와 \(N(A^\top A)\)의 관계는 무엇인가요? 같습니다. \(A^\top A\mathbf{x} = \mathbf{0}\)이면 \(\lVert A\mathbf{x}\rVert^2 = \mathbf{x}^\top A^\top A\mathbf{x} = 0\)이어서 \(A\mathbf{x} = \mathbf{0}\)이기 때문입니다. 정규 방정식의 해가 유일한 조건이 열의 독립인 이유입니다.

Q. 최소 노름 해는 왜 영공간과 직교하나요? 영공간 성분을 더하면 해는 그대로 유지되고 노름만 커지므로, 노름이 가장 작은 해에는 영공간 성분이 없습니다.