3 Inseok Kong Schedule

Linear Algebra 8: Symmetric Matrices and Spectral Decomposition

대칭행렬과 AᵀA·AAᵀ, 대칭행렬 고유벡터의 직교성, 닮음과 직교대각화, 대수적·기하적 중복도, 스펙트럼 정리와 랭크 1 분해를 다룬다.

대칭행렬과 \(A^TA\), \(AA^T\)

▶ 33강

고유값 분해와 SVD

고유값 분해(eigendecomposition)와 특이값 분해(singular value decomposition, SVD)는 모두 행렬 분해(matrix decomposition) 다. 주어진 행렬을 특별한 성질을 가진 여러 행렬의 곱으로 나타낸다. 둘의 첫 번째 차이는 입력이다.

  • 고유값 분해는 정사각행렬에서만 정의된다.
  • SVD는 임의의 \(m \times n\) 직사각행렬에 적용된다.

실제로 다루는 행렬은 대부분 정사각행렬이 아니다. 머신러닝에서는 데이터를 흔히 특징×데이터 항목(feature-by-item) 행렬로 저장한다. 각 열은 데이터 항목 하나(예: 한 사람)이고, 각 행은 특징 하나(키, 몸무게, 혈압 등)다. 특징의 수와 항목의 수는 보통 다르므로 고유값 분해를 바로 적용할 수 없다.

SVD는 독자적인 아이디어를 가진 별개의 알고리즘이 아니다. 고유값 분해의 확장으로 보는 것이 가장 좋다. 핵심은 고유값 분해이고, SVD는 \(A\)로부터 만든 두 정사각행렬 \(A^TA\)와 \(AA^T\)에 고유값 분해를 적용하여 얻는다.

\(A^TA\)와 \(AA^T\)가 담고 있는 것

\(A\)를 행이 특징, 열이 항목인 \(m \times n\) 행렬이라 하자.

  • \(A^TA\)는 \(n \times n\) 행렬이다. \((i, j)\) 성분은 항목 \(i\)와 항목 \(j\)(\(A\)의 열)의 내적이다. 내적은 유사도(similarity)로 널리 쓰이므로, \(A^TA\)는 항목 간 유사도 표다.
  • \(AA^T\)는 \(m \times m\) 행렬이다. \((i, j)\) 성분은 모든 항목에 걸친 특징 \(i\)와 특징 \(j\)(\(A\)의 행)의 내적이다. 이는 특징 사이의 상관(correlation) 과 비슷하게 동작한다. 키와 몸무게가 함께 크고 함께 작으면 곱들이 더해져 큰 값이 된다. 한쪽이 클 때 다른 쪽이 작으면 내적은 크게 나오지 않는다.

특징 2개, 항목 3개인 작은 예는 다음과 같다.

\[A = \begin{bmatrix} 1 & 2 & 0 \\ 2 & 3 & 1 \end{bmatrix}, \qquad AA^T = \begin{bmatrix} 5 & 8 \\ 8 & 14 \end{bmatrix}, \qquad A^TA = \begin{bmatrix} 5 & 8 & 2 \\ 8 & 13 & 3 \\ 2 & 3 & 1 \end{bmatrix}\]

두 곱은 모두 정사각행렬이므로 고유값 분해를 적용할 수 있다.

대칭행렬

정의. 정사각행렬 \(B\)가 \(B^T = B\), 즉 \(b_{ij} = b_{ji}\)를 만족하면 대칭행렬(symmetric matrix) 이라 한다. 성분들이 주대각선을 기준으로 데칼코마니처럼 대칭이다. 예를 들면 다음과 같다.

\[\begin{bmatrix} 1 & 5 & 4 \\ 5 & -2 & 3 \\ 4 & 3 & 0 \end{bmatrix}\]

\(A^TA\)와 \(AA^T\)는 항상 대칭이다. 직관적으로, 항목 \(i\)와 \(j\)의 유사도는 \(j\)와 \(i\)의 유사도와 같다. 형식적으로는 \((XY)^T = Y^TX^T\)(역행렬처럼 순서가 바뀐다)를 쓰면 된다.

\[(A^TA)^T = A^T (A^T)^T = A^TA, \qquad (AA^T)^T = (A^T)^T A^T = AA^T\]

이 행렬들은 두 번째 성질인 양의 준정부호(positive semidefinite) 도 가지며, 이는 SVD 섹션에서 다룬다. 대칭행렬은 고유값 구조가 특별히 좋으며, 이 섹션의 나머지에서 이를 차례로 살펴본다.

고유값과 고유벡터 계산 복습

▶ 34강

이전 섹션의 \(A = \begin{bmatrix} 2 & 6 \\ 5 & 3 \end{bmatrix}\)로 절차를 간단히 복습한다.

  1. 식 세우기. \(Av = \lambda v\)를 \((A - \lambda I)v = 0\)으로 바꾼다. \(\lambda\)와 \(v\)가 모두 미지수다.
  2. 영이 아닌 해 요구. \(A - \lambda I\)가 가역이면 양변에 역행렬을 곱해 \(v = 0\)만 남는데, 영벡터는 고유벡터에서 제외된다. 따라서 \(A - \lambda I\)는 비가역이어야 한다: \(\det(A - \lambda I) = 0\).
  3. 특성방정식 풀기. \((2-\lambda)(3-\lambda) - 30 = \lambda^2 - 5\lambda - 24 = (\lambda - 8)(\lambda + 3) = 0\)이므로 \(\lambda = 8, -3\)이다.
  4. 고유벡터 구하기. \(\lambda = 8\)이면 \(A - 8I = \begin{bmatrix} -6 & 6 \\ 5 & -5 \end{bmatrix}\)이고, 가중치 \((1, 1)\)이 두 열을 영벡터로 만들므로 \(v = (1, 1)\)이다. \(\lambda = -3\)이면 \(A + 3I = \begin{bmatrix} 5 & 6 \\ 5 & 6 \end{bmatrix}\)이고 \(v = (1, -5/6)\), 즉 \((6, -5)\)이다.

\(n \times n\) 행렬의 특성방정식은 \(n\)차이므로 중복을 포함해 근이 \(n\)개다. 예를 들어 어떤 \(5 \times 5\) 행렬이 다음 특성다항식을 가질 수 있다.

\[\det(A - \lambda I) = -(\lambda - 5)^2(\lambda + 3)^2(\lambda - 1)\]

서로 다른 고유값은 \(5, -3, 1\)의 세 개다. 각 고유값마다 \(A - \lambda I\)를 만들고 위와 같이 고유벡터를 구한다.

앞으로 이어지는 핵심 사실은 다음과 같다.

정리. 서로 다른 고유값에서 나온 고유벡터들은 선형독립이다.

다음 강의에서는 이 사실의 기하학적 의미를 살펴보고, \(A\)가 대칭일 때 이것이 훨씬 강해진다는 것을 보인다.

선형독립, 직교, 대칭행렬의 고유벡터

▶ 35강

“앞선 벡터들의 span에 속하지 않음”으로서의 선형독립

벡터 \(v_1, v_2, v_3, \dots\)에 순서를 매기자. 이 집합이 선형독립일 필요충분조건은 어떤 벡터도 앞선 벡터들의 생성 공간(span)에 속하지 않는 것이다.

  • \(v_1 \notin \operatorname{Span}\{\} = \{0\}\), 즉 \(v_1 \neq 0\);
  • \(v_2 \notin \operatorname{Span}\{v_1\}\), 즉 직선 밖;
  • \(v_3 \notin \operatorname{Span}\{v_1, v_2\}\), 즉 평면 밖;
  • 이하 같은 방식.

\(v_3\)가 \(v_1\), \(v_2\)의 평면 안에 정확히 놓이면 종속이다. 평면 밖으로 삐져나와 있으면 독립이다.

벡터와 부분공간 사이의 각도

직선과 평면 사이의 각도는 그 직선과 평면 위의 직선들이 이루는 각도 중 가장 작은 것이다. 각도를 최소로 만드는 평면 위의 방향은 그 벡터를 평면에 정사영(orthogonal projection)한 방향이다. 같은 아이디어로 두 부분공간 사이의 각도도 정의할 수 있다. 각 부분공간에서 벡터를 하나씩 골라 만들 수 있는 가장 작은 각도를 쓴다.

이 관점에서 선형독립이란, 새로 추가하는 각 벡터가 앞선 벡터들의 span과 0보다 큰 각도를 이룬다는 뜻이다. 각도가 0이면 그 벡터는 span 안에 있다.

직교 집합은 “최대로” 독립이다

\(i \neq j\)인 모든 쌍에 대해 \(v_i \cdot v_j = 0\)이면 집합 \(\{v_1, \dots, v_k\}\)를 직교 집합(orthogonal set) 이라 한다. 이때 새 벡터는 앞선 span과 가능한 최대 각도인 \(90^\circ\)를 이룬다. 따라서 다음이 성립한다.

  • 영벡터를 포함하지 않는 직교 집합은 항상 선형독립이다.
  • 선형독립은 \(0^\circ\)보다 큰 각도만 요구하지만, 직교는 정확히 \(90^\circ\)를 요구한다.

직교는 선형독립의 가장 엄격한, “최대의” 형태다.

A third vector at 0 degrees, a positive angle and 90 degrees to the plane of v1 and v2 \(\operatorname{Span}\{v_1, v_2\}\)에 대해 세 번째 벡터가 이루는 각도. 평면 안에 있으면 \(0^\circ\)(종속), 비스듬히 튀어나오면 \(0^\circ\)보다 큰 \(\theta\)(독립), 평면에 수직이면 \(90^\circ\)(직교)다.

보라 벡터의 각도 \(\theta\)는 그 벡터와 평면 위로의 정사영(보라 점선) 사이의 각이다. 평면 위의 다른 어떤 방향과도 이보다 작은 각을 이룰 수 없으므로, 이것이 벡터와 평면 사이의 각도다. 회색 벡터는 평면에 누워 있어 각도가 0이고 \(v_1, v_2\)의 선형결합으로 쓰인다. 초록 벡터는 정사영이 영벡터이므로 평면의 모든 방향과 \(90^\circ\)를 이룬다. 그림의 \(v_1\), \(v_2\) 자체는 직교하지 않으므로, 집합 전체가 직교 집합이 되려면 \(v_1\)과 \(v_2\)도 서로 수직이어야 한다.

대칭행렬의 고유벡터는 직교한다

일반 정사각행렬에서는 서로 다른 고유값의 고유벡터가 선형독립이다. 대칭행렬에서는 직교한다.

정리. \(A\)가 대칭이면, 서로 다른 고유공간에서 나온 두 고유벡터는 직교한다.

증명. \(Av_1 = \lambda_1 v_1\), \(Av_2 = \lambda_2 v_2\), \(\lambda_1 \neq \lambda_2\)라 하자. \(v_1 \cdot v_2 = v_1^T v_2\)임을 이용하면 다음과 같다.

\[\lambda_1 (v_1 \cdot v_2) = (\lambda_1 v_1)^T v_2 = (Av_1)^T v_2 = v_1^T A^T v_2 = v_1^T A v_2 = v_1^T (\lambda_2 v_2) = \lambda_2 (v_1 \cdot v_2)\]

\(A^T = A\)인 단계에서 대칭성을 사용했다. 따라서 다음을 얻는다.

\[(\lambda_1 - \lambda_2)(v_1 \cdot v_2) = 0\]

\(\lambda_1 - \lambda_2 \neq 0\)이므로 \(v_1 \cdot v_2 = 0\)이다. \(\blacksquare\)

예: \(S = \begin{bmatrix} 3 & 1 \\ 1 & 3 \end{bmatrix}\)는 고유값 \(4\), \(2\)와 고유벡터 \((1, 1)\), \((1, -1)\)을 가지며 \((1, 1) \cdot (1, -1) = 0\)이다. 반면 대칭이 아닌 \(\begin{bmatrix} 2 & 6 \\ 5 & 3 \end{bmatrix}\)의 고유벡터 \((1, 1)\)과 \((6, -5)\)는 독립이지만 직교하지 않는다.

Eigenvectors of a symmetric matrix are perpendicular; those of a non-symmetric matrix are not 왼쪽은 대칭행렬 \(S\)의 고유벡터 직선(직교)과 \(S\)가 단위원을 보낸 타원, 오른쪽은 대칭이 아닌 행렬의 고유벡터 직선(약 \(84.8^\circ\))이다.

왼쪽에서 회색 단위원은 \(S\)에 의해 보라 타원으로 바뀐다. 타원의 긴 축과 짧은 축이 정확히 두 고유벡터 직선 위에 놓이고, 반지름이 고유값 \(4\)와 \(2\)다. 두 축은 서로 수직이다. 오른쪽에서 두 고유벡터 직선 사이의 각은 \(\cos^{-1}\big(1/\sqrt{122}\big) \approx 84.8^\circ\)로, 직각에 가깝지만 직각은 아니다. 대칭성이 없으면 고유벡터가 독립이라는 것까지만 보장된다.

닮음 변환과 직교대각화

▶ 36강

대각화 가능 = 고유값 분해 존재

\(A = VDV^{-1}\)와 \(V^{-1}AV = D\)는 같은 내용이다. 한쪽에서 다른 쪽을 바로 얻는다. 따라서 “\(A\)가 대각화 가능하다”와 “\(A\)가 고유값 분해를 가진다”는 같은 말이다.

닮음 변환

정의. 가역행렬 \(P\)에 대해 \(A \mapsto P^{-1}AP\)를 닮음 변환(similarity transformation) 이라 한다. 어떤 가역행렬 \(P\)로 \(B = P^{-1}AP\)가 되면 \(A\)와 \(B\)는 닮았다(similar) 고 한다.

“닮았다”는 엄밀한 뜻을 가진다. 닮은 행렬은 특성다항식이 같고, 따라서 고유값과 그 중복도도 같다.

\[\det(B - \lambda I) = \det\big(P^{-1}(A - \lambda I)P\big) = \det(P^{-1})\det(A - \lambda I)\det(P) = \det(A - \lambda I)\]

예: \(A = \begin{bmatrix} 2 & 6 \\ 5 & 3 \end{bmatrix}\), \(P = \begin{bmatrix} 1 & 2 \\ 3 & 4 \end{bmatrix}\)이면 \(P^{-1} = \begin{bmatrix} -2 & 1 \\ 3/2 & -1/2 \end{bmatrix}\)이고 다음과 같다.

\[P^{-1}AP = \begin{bmatrix} -26 & -34 \\ 23 & 31 \end{bmatrix}\]

\(A\)와 전혀 닮아 보이지 않지만, 대각합(trace)은 \(5\)이고 행렬식은 \(-806 + 782 = -24\)다. 따라서 특성다항식은 다시 \(\lambda^2 - 5\lambda - 24\)이고 고유값은 \(8\)과 \(-3\)이다.

임의의 \(P\)로는 대각행렬이 나오지 않는다. 대각화는 결과를 대각행렬로 만드는 특별한 \(P\)를 찾는 것이고, 그 \(P\)가 바로 독립인 고유벡터 \(n\)개로 만든 행렬이다. 즉 \(A\)가 대각행렬과 닮았을 때 \(A\)는 대각화 가능하다.

대칭행렬은 항상 대각화 가능하다

일반 정사각행렬은 독립인 고유벡터 \(n\)개를 갖지 못할 수 있다. 대칭행렬은 그런 일이 없다. 항상 고유값 분해를 가진다. 나아가 직교대각화가 가능하다.

정의. 정규직교(orthonormal) 열을 가진 정사각행렬 \(P\)를 직교행렬(orthogonal matrix) 이라 한다. (이름은 “직교”지만 열은 정규직교다.) 그 역행렬은 전치행렬이다.

\[P^{-1} = P^T, \qquad P^TP = I \text{ 이므로}\]

정의. 직교행렬 \(P\)와 대각행렬 \(D\)로 다음과 같이 쓸 수 있으면 \(A\)를 직교대각화 가능(orthogonally diagonalizable) 하다고 한다.

\[A = PDP^T = PDP^{-1}\]

대칭행렬에서는 서로 다른 고유공간의 고유벡터가 직교한다(35강). 이들을 길이 1로 정규화하면 \(n\)개의 정규직교 고유벡터를 얻고, 이것이 \(P\)의 열이 된다. 전체 내용은 이 섹션 마지막의 스펙트럼 정리로 정리된다.

예: \(S = \begin{bmatrix} 3 & 1 \\ 1 & 3 \end{bmatrix}\)에 대해 다음이 성립한다.

\[P = \frac{1}{\sqrt{2}}\begin{bmatrix} 1 & 1 \\ 1 & -1 \end{bmatrix}, \quad D = \begin{bmatrix} 4 & 0 \\ 0 & 2 \end{bmatrix}, \quad S = PDP^T\]

역행렬 계산이 필요 없다. \(P^{-1}\)은 그냥 \(P^T\)다.

대수적 중복도

▶ 37강 · ▶ 38강

고유값 분해는 언제 존재하는가?

모든 정사각행렬이 고유값 분해를 가지는 것은 아니다. \(A = VDV^{-1}\)로 쓰려면 \(V\)가 가역이어야 한다. \(AV = VD\) 자체는 열별로 \(Av_i = \lambda_i v_i\)이므로 항상 쓸 수 있다. 하지만 \(V^{-1}\)이 존재할 때만 \(A = VDV^{-1}\)로 되돌아갈 수 있다.

예를 들어 \(A = \begin{bmatrix} 2 & 6 \\ 5 & 3 \end{bmatrix}\)이면 다음과 같다.

\[V = \begin{bmatrix} 1 & 1 \\ 1 & -5/6 \end{bmatrix}, \quad D = \begin{bmatrix} 8 & 0 \\ 0 & -3 \end{bmatrix}\]

\(V\)의 열이 독립이므로 \(A = VDV^{-1}\)이다. \(n \times n\) 행렬이라면 선형독립인 고유벡터 \(n\)개가 필요하다. 이를 세는 과정에서 두 가지 중복도가 등장한다.

특성다항식의 근 세기

\(n \times n\) 행렬의 특성다항식은 \(n\)차다. 복소수 근까지 허용하면 \(n\)차 다항식은 중복을 포함해 정확히 \(n\)개의 근을 가진다. 3차식 세 가지 예를 보자.

  • \((x - 1)^2(x + 5)\): 근은 \(1\)(중근)과 \(-5\);
  • \((x - 2)(x - 3)(x + 2)\): 서로 다른 실근 세 개;
  • \((x - 1)(x^2 + 2x + 3)\): 이차식은 실수 범위에서 인수분해되지 않고, 근의 공식으로 \(x = -1 \pm \sqrt{2}\,i\)를 얻는다. 실근 하나와 복소근 두 개.

정의. 고유값의 대수적 중복도(algebraic multiplicity, AM) 는 그 고유값이 근으로 나타나는 횟수다. 복소근까지 세면, 모든 \(n \times n\) 행렬에 대해 다음이 성립한다.

\[\sum_{\lambda} \text{AM}(\lambda) = n\]

표로 정리하면 편하다. \((\lambda - 1)^2(\lambda + 5)\)의 경우는 다음과 같다.

\(\lambda\) \(1\) \(-5\) 합계
AM 2 1 3

복소근은 켤레 쌍으로 나타난다

다항식의 계수가 실수이면 복소근은 위의 \(-1 \pm \sqrt{2}\,i\)처럼 켤레 쌍 \(a \pm bi\)로 나타난다. 특성다항식의 계수는 행렬의 성분에서 나온다. 따라서 실수 행렬은 실계수 다항식을 주고, 실수가 아닌 고유값은 켤레끼리 짝을 이룬다.

복소수 성분을 가진 행렬은 신호처리나 통신 같은 분야에서 쓰인다. 머신러닝에서는 데이터 행렬이 키, 몸무게, 픽셀 값처럼 실수 특징값을 담으므로 실수 행렬에서 출발한다. 그래도 일반적으로는 복소 고유값이 나올 수 있다. 대칭행렬에서는 그렇지 않다는 것을 이 섹션 끝에서 보인다.

기하적 중복도

▶ 39강 · ▶ 40강

정의

정의. \(\lambda\)의 고유공간(eigenspace) 은 \(\operatorname{Nul}(A - \lambda I)\), 즉 \((A - \lambda I)x = 0\)의 모든 해(고유벡터와 \(0\))의 집합이다. \(\lambda\)의 기하적 중복도(geometric multiplicity, GM) 는 고유공간의 차원, 즉 \(\lambda\)에 대한 선형독립인 고유벡터의 최대 개수다.

예제

\[B = \begin{bmatrix} 2 & 1 & 1 \\ 1 & 2 & 1 \\ 1 & 1 & 2 \end{bmatrix}, \qquad \det(B - \lambda I) = -(\lambda - 1)^2(\lambda - 4)\]

\(\lambda = 1\)의 AM은 \(2\)다. 다음 행렬을 보자.

\[B - I = \begin{bmatrix} 1 & 1 & 1 \\ 1 & 1 & 1 \\ 1 & 1 & 1 \end{bmatrix}\]

세 열이 모두 같으므로, 합이 0인 가중치는 무엇이든 열들을 영벡터로 결합한다.

  • \((1, -1, 0)\): 첫째 열 빼기 둘째 열;
  • \((1, 0, -1)\): 첫째 열 빼기 셋째 열.

이 두 벡터는 선형독립이므로 \(\lambda = 1\)의 GM은 \(2\)다. 또 다른 해 \((0, 1, -1)\)도 고유벡터이지만 새로운 것은 아니다: \((0, 1, -1) = (1, 0, -1) - (1, -1, 0)\).

고유공간은 부분공간이다. \(\lambda = 1\)의 고유벡터들의 선형결합은 다시 고유공간에 속한다. 따라서 span으로 쓸 수 있다.

\[\operatorname{Span}\{(1, -1, 0),\ (1, 0, -1)\}\]

이 두 벡터가 기저다. 기저는 유일하지 않다. \(\{(1, 0, -1), (0, 1, -1)\}\)도 같은 평면을 생성한다. 그러나 기저 벡터의 개수인 차원은 항상 같고, 그 수가 기하적 중복도다.

\(\lambda = 4\)에서 \(B - 4I\)의 영공간은 \((1, 1, 1)\)이 생성하는 1차원 공간이므로 GM \(= 1\)이다.

Eigenspace plane of lambda = 1 and the perpendicular eigenline of lambda = 4 for B \(B\)의 두 고유공간. 음영 평면 \(x_1 + x_2 + x_3 = 0\)이 \(\lambda = 1\)의 고유공간(GM \(= 2\))이고, 빨간 직선 \((1, 1, 1)\)이 \(\lambda = 4\)의 고유공간(GM \(= 1\))이다.

파란 세 벡터 \((1, -1, 0)\), \((1, 0, -1)\), \((0, 1, -1)\)은 모두 같은 평면 위에 있다. 셋 중 아무 둘이나 기저가 되고, 세 번째는 나머지 둘의 결합이다. 평면이 2차원이라는 것이 GM \(= 2\)의 그림이다. \(B\)는 대칭행렬이므로 \(\lambda = 4\)의 직선은 평면에 수직, 곧 평면의 법선이다. \((1, 1, 1)\)과 평면 위 벡터의 내적은 항상 \(x_1 + x_2 + x_3 = 0\)이기 때문이다. 대칭이 아닌 행렬에서는 직선이 평면을 비스듬히 지날 수 있다는 점과 대비된다.

기하적 중복도의 범위

모든 고유값에 대해 다음이 성립한다.

\[1 \le \text{GM}(\lambda) \le \text{AM}(\lambda)\]
  • 하한. 고유공간이 \(\{0\}\)이라면 \((A - \lambda I)x = 0\)의 해는 \(x = 0\)뿐이고, \(A - \lambda I\)가 가역이 된다. 이는 \(\det(A - \lambda I) = 0\)에 모순이다. 따라서 고유벡터는 항상 적어도 하나 있다.
  • 상한. 표준적인 정리이며 여기서는 증명 없이 적는다.

따라서 AM \(= 1\)인 고유값은 두 경계 사이에 끼어 항상 GM \(= 1\)이다. AM \(= 2\)인 고유값의 GM은 \(1\) 또는 \(2\)다.

중복도로 본 대각화 가능성

각 고유공간의 기저를 모은다. 서로 다른 고유공간의 벡터들은 선형독립이므로 모은 집합도 독립이고, 그 크기는 \(\sum \text{GM}(\lambda)\)다.

  \(\lambda_1\) (\(\text{AM}=2\)) \(\lambda_2\) (\(\text{AM}=1\)) 합계
최선의 경우: GM 2 1 3
부족한 경우: GM 1 1 2
  • 모든 고유값에서 \(\text{GM} = \text{AM}\)이면 합계는 \(n\)이다. 독립인 고유벡터가 \(n\)개 있고, \(V\)는 가역이며, \(A\)는 대각화 가능하다.
  • 어떤 고유값에서 \(\text{GM} < \text{AM}\)이면 독립인 고유벡터가 \(n\)개보다 적다. 이들은 \(\mathbb{R}^n\)을 생성하지 못하고, 고유값 분해가 존재하지 않는다.

따름정리. 특성다항식이 서로 다른 근 \(n\)개를 가지면(중근이 없으면) 모든 AM이 1이므로 모든 GM도 1이고, 행렬은 대각화 가능하다. 중근이 있는 경우가 까다로운 경우이며, GM이 AM에 도달하는지 확인해야 한다.

위의 \(B\)는 두 고유값 모두 GM \(=\) AM이므로 대각화 가능하다. \(\begin{bmatrix} 1 & 1 \\ 0 & 1 \end{bmatrix}\)(AM \(2\), GM \(1\))은 대각화 불가능하다.

스펙트럼 분해

▶ 41강

스펙트럼 정리

스펙트럼 정리(spectral theorem). \(A\)가 \(n \times n\) 실대칭행렬이면 다음이 성립한다.

  1. 중복도를 포함하여 \(n\)개의 실수 고유값을 가진다. 복소 고유값은 나오지 않는다.
  2. 각 고유값의 기하적 중복도는 대수적 중복도와 같다.
  3. 고유공간들은 서로 직교한다. 즉 서로 다른 고유값의 고유벡터는 직교한다.
  4. \(A\)는 직교대각화 가능하다: 직교행렬 \(P\)로 \(A = PDP^T\).

2번은 GM이 항상 최댓값에 도달한다는 뜻이므로, 독립인 고유벡터 \(n\)개가 존재하고 \(A\)는 대각화 가능하다. 3번은 35강의 정리다. 하나의 고유공간 안에서는 (예를 들어 그람-슈미트로) 정규직교기저를 항상 고를 수 있으므로, 2번과 3번을 합하면 4번이 된다. 1번 덕분에 복소 고유값이나 복소 고유벡터를 걱정할 필요가 없다.

예제

\[A = \begin{bmatrix} 6 & -2 & -1 \\ -2 & 6 & -1 \\ -1 & -1 & 5 \end{bmatrix}\]

이 행렬의 고유값은 \(8, 6, 3\)이고 고유벡터는 \((-1, 1, 0)\), \((-1, -1, 2)\), \((1, 1, 1)\)이다. 정리대로 이 벡터들은 서로 직교한다. 정규화하면 다음과 같다.

\[u_1 = \tfrac{1}{\sqrt{2}}\begin{bmatrix} -1 \\ 1 \\ 0 \end{bmatrix}, \quad u_2 = \tfrac{1}{\sqrt{6}}\begin{bmatrix} -1 \\ -1 \\ 2 \end{bmatrix}, \quad u_3 = \tfrac{1}{\sqrt{3}}\begin{bmatrix} 1 \\ 1 \\ 1 \end{bmatrix}\]

\(P = [u_1 \ u_2 \ u_3]\), \(D = \operatorname{diag}(8, 6, 3)\)으로 두면 \(A = PDP^T\)다.

곱에서 합으로

행렬 곱의 두 가지 관점으로 \(PDP^T\)를 전개한다.

\(PD\): 열 단위 크기 조정. 오른쪽에 대각행렬을 곱하면 \(P\)의 각 열이 해당 대각성분만큼 조정된다.

\[PD = [\lambda_1 u_1 \ \ \lambda_2 u_2 \ \ \lambda_3 u_3]\]

(왼쪽에 대각행렬을 곱하면 대신 행이 조정된다.)

\((PD)P^T\): 외적의 합. 열들로 이루어진 행렬과 행들로 이루어진 행렬의 곱은 (열)×(행) 외적(outer product)들의 합과 같다. \(P^T\)의 행은 \(u_1^T, u_2^T, u_3^T\)이므로 다음을 얻는다.

\[A = \lambda_1 u_1 u_1^T + \lambda_2 u_2 u_2^T + \cdots + \lambda_n u_n u_n^T\]

이것이 \(A\)의 스펙트럼 분해(spectral decomposition) 다. 각 \(u_j u_j^T\)는 랭크 1(rank 1) 인 \(n \times n\) 행렬이다. 이는 \(u_j\)가 생성하는 직선으로의 정사영 행렬이다: \((u_j u_j^T)x = (u_j \cdot x)\,u_j\).

예제에서는 다음과 같다.

\[A = 8 \cdot \tfrac{1}{2}\begin{bmatrix} 1 & -1 & 0 \\ -1 & 1 & 0 \\ 0 & 0 & 0 \end{bmatrix} + 6 \cdot \tfrac{1}{6}\begin{bmatrix} 1 & 1 & -2 \\ 1 & 1 & -2 \\ -2 & -2 & 4 \end{bmatrix} + 3 \cdot \tfrac{1}{3}\begin{bmatrix} 1 & 1 & 1 \\ 1 & 1 & 1 \\ 1 & 1 & 1 \end{bmatrix}\]

성분 하나를 확인해 보면, \((1, 1)\) 성분은 \(4 + 1 + 1 = 6\)이고 \((1, 3)\) 성분은 \(0 - 2 + 1 = -1\)이다.

분해 읽기

\(A\)는 \(n\)개의 조각으로 나뉜다. 각 조각은 단위벡터로 만든 랭크 1 행렬이므로, 어떤 의미에서 “질량이 1”이다. 조각들은 서로 직교하는 방향을 가리키므로 겹치지 않는다. 고유값은 각 조각의 가중치다. 이 조각들과 가중치의 모음을 빛을 성분으로 나누는 것에 빗대어 \(A\)의 스펙트럼(spectrum) 이라 한다. 예에서 \(A\)는 서로 직교하는 세 성분 \(u_1u_1^T, u_2u_2^T, u_3u_3^T\)가 각각 \(8, 6, 3\)의 세기로 합쳐진 것이다.

Spectral decomposition of the 2x2 symmetric matrix S applied to x = (2, 0) \(S = \begin{bmatrix} 3 & 1 \\ 1 & 3 \end{bmatrix} = 4\,u_1u_1^T + 2\,u_2u_2^T\)를 \(x = (2, 0)\)에 적용한 모습. 왼쪽은 두 고유벡터 직선으로의 정사영, 오른쪽은 각 조각에 고유값을 곱해 더한 결과 \(Sx = (6, 2)\)다.

그림은 \(3 \times 3\) 예 대신 평면에서 볼 수 있는 \(S\)를 쓴다(\(u_1 = (1, 1)/\sqrt{2}\), \(u_2 = (1, -1)/\sqrt{2}\)). 왼쪽에서 \(x\)는 \(u_1u_1^Tx = (1, 1)\)과 \(u_2u_2^Tx = (1, -1)\)로 나뉜다. 두 조각은 서로 수직이고, 더하면 정확히 \(x\)가 된다. 이는 \(u_1u_1^T + u_2u_2^T = PP^T = I\)이기 때문이다. 오른쪽에서는 첫 조각을 \(4\)배, 둘째 조각을 \(2\)배 하여 \((4, 4)\)와 \((2, -2)\)를 얻고, 이를 더한 \((6, 2)\)가 직접 곱한 \(S(2, 0) = (6, 2)\)와 같다. 랭크 1 정사영으로 쪼개고, 고유값으로 가중하고, 더한다는 스펙트럼 분해의 세 동작이 그대로 보인다.

실수 고유값의 증명과 실제 고유값 계산

▶ 42강

실대칭행렬의 고유값은 실수다

\(A\)가 실대칭행렬이라 하고, 일단 복소 고유값 \(\lambda\)와 복소 고유벡터 \(x \neq 0\)을 허용하자: \(Ax = \lambda x\).

표기. 복소벡터 \(x\)에 대해 성분별 켤레복소수를 \(\bar{x}\)로 쓴다. 켤레전치(conjugate transpose) 는 \(x^H = \bar{x}^T\)다. 예를 들어 \(x = (1 + 3i,\ 2 - 4i)\)이면 \(x^H = [\,1 - 3i \ \ \ 2 + 4i\,]\)다. 켤레는 곱에 대해 분배된다: \(\overline{zw} = \bar{z}\,\bar{w}\).

1단계: \(q = \bar{x}^T A x\)는 실수다. \(q\)는 \(1 \times 1\) 행렬, 즉 스칼라이므로 \(q^T = q\)다. 켤레를 취하면 다음과 같다.

\[\bar{q} = \overline{\bar{x}^T A x} = x^T \bar{A}\, \bar{x} = x^T A\, \bar{x} = (x^T A \bar{x})^T = \bar{x}^T A^T x = \bar{x}^T A x = q\]

\(\bar{A} = A\)(\(A\)가 실수)와 \(A^T = A\)(\(A\)가 대칭)를 사용했다. 자기 켤레와 같은 수는 실수다. 이 결과는 고유벡터뿐 아니라 임의의 복소벡터 \(x\)에 대해 성립한다.

2단계: \(q\)를 다른 방법으로 계산한다. \(Ax = \lambda x\)를 쓰면 다음과 같다.

\[q = \bar{x}^T (\lambda x) = \lambda\, \bar{x}^T x = \lambda \sum_i \bar{x}_i x_i = \lambda \sum_i \lvert x_i \rvert^2\]

각 \(\bar{x}_i x_i = \lvert x_i \rvert^2\)는 실수이고, \(x \neq 0\)이므로 그 합은 양수다.

결론. \(\lambda = q / \sum_i \lvert x_i \rvert^2\)는 실수를 양의 실수로 나눈 값이므로 실수다. 모든 고유값이 실수이므로 특성다항식의 근 \(n\)개가 모두 실수이고, 고유벡터도 실수 벡터로 잡을 수 있다. \(\blacksquare\)

실제로 고유값을 계산하는 방법

\(100 \times 100\) 행렬의 특성다항식은 100차다. 이 다항식을 만들어 근을 직접 구하는 것은 비현실적이고 수치적으로도 불안정하다. 수치 라이브러리는 닮음 변환에 기반한 다른 방법을 쓴다.

  • 닮은 행렬은 특성다항식이 같으므로, 닮음 변환은 고유값을 바꾸지 않는다.
  • 대각행렬(또는 삼각행렬)의 고유값은 대각성분 그 자체다. \(\det(D - \lambda I) = \prod_i (d_i - \lambda)\)이기 때문이다.

그래서 알고리즘은 잘 고른 닮음 변환 \(A \to P_1^{-1}AP_1 \to P_2^{-1}P_1^{-1}AP_1P_2 \to \cdots\)를 반복한다. 각 단계는 비대각성분을 0에 더 가깝게 만든다. 충분히 반복하면 행렬이 거의 대각행렬이 되고, 그 대각성분이 고유값의 근사값이 된다. 누적된 \(P_k\)들의 곱은 고유벡터의 근사가 된다. QR 알고리즘이 이런 방식의 대표적인 방법이다. 대칭행렬에서는 \(P_k\)를 직교행렬로 잡을 수 있어 계산이 안정적이다.

정리

  • 고유값 분해는 정사각행렬이 필요하지만 SVD는 임의의 직사각행렬을 다룬다. SVD는 항상 대칭인 \(A^TA\)(항목 간 내적)와 \(AA^T\)(특징 간 내적)에 고유값 분해를 적용하여 만든다.
  • 선형독립은 각 벡터가 앞선 벡터들의 span과 0보다 큰 각도를 이룬다는 뜻이다. \(90^\circ\)를 이루는 직교는 그 가장 엄격한 형태다.
  • 대칭행렬에서는 서로 다른 고유값의 고유벡터가 독립일 뿐 아니라 직교한다.
  • 닮은 행렬 \(P^{-1}AP\)는 특성다항식과 고유값이 같다. 대각화 가능은 대각행렬과 닮았다는 뜻이고, 고유값 분해가 존재한다는 말과 같다.
  • 대수적 중복도는 근이 겹치는 횟수(복소수 범위에서 합이 \(n\))이고, 기하적 중복도는 고유공간의 차원이며 \(1 \le \text{GM} \le \text{AM}\)이다. 모든 고유값에서 GM \(=\) AM일 때 정확히 대각화 가능하며, 근이 모두 다르면 자동으로 성립한다.
  • 스펙트럼 정리: 실대칭행렬은 \(n\)개의 실수 고유값, GM \(=\) AM, 서로 직교하는 고유공간을 가지며, 직교행렬 \(P\)(\(P^{-1} = P^T\))로 \(A = PDP^T\)다.
  • 스펙트럼 분해 \(A = \sum_j \lambda_j u_j u_j^T\)는 \(A\)를 서로 직교하는 랭크 1 정사영들의 가중합으로 나타낸다.
  • 실제 고유값 계산은 특성다항식을 푸는 대신, 행렬을 대각 형태로 몰아가는 닮음 변환을 반복하여 수행한다.