3 Inseok Kong Schedule

Linear Algebra 7: Eigenvalues and Diagonalization

고유값과 고유벡터, 특성방정식, 영공간과 고유공간, 대수적·기하적 중복도, 대각화, 그리고 고유값 분해 A = VDV⁻¹을 다룬다.

고유값과 고유벡터

▶ 27강

고유값과 고유벡터는 정사각행렬 안에 숨어 있는 구조를 드러낸다. 이 절에서 \(A\)는 \(n \times n\) 행렬이고, 표준기저에 대한 선형변환 \(x \mapsto Ax\)로 본다.

대부분의 벡터는 방향이 바뀐다

다음 행렬을 보자.

\[A = \begin{bmatrix} 2 & 6 \\ 5 & 3 \end{bmatrix}\]

임의의 입력 \(x = (1, 2)\)를 넣으면 다음과 같다.

\[Ax = \begin{bmatrix} 2 \cdot 1 + 6 \cdot 2 \\ 5 \cdot 1 + 3 \cdot 2 \end{bmatrix} = \begin{bmatrix} 14 \\ 11 \end{bmatrix}\]

길이와 방향이 모두 바뀌었다. 일반적인 행렬에서는 당연한 결과다.

방향이 그대로인 벡터가 있다

\(x = (1, 1)\)을 넣으면 다음과 같다.

\[Ax = \begin{bmatrix} 8 \\ 8 \end{bmatrix} = 8 \begin{bmatrix} 1 \\ 1 \end{bmatrix}\]

길이는 8배가 되었지만 방향은 바뀌지 않았다. 이런 특별한 벡터가 \(A\)의 고유벡터다.

정의. \(A\)의 고유벡터(eigenvector) 는 어떤 스칼라 \(\lambda\)에 대해 다음을 만족하는 영이 아닌 벡터 \(x\)다.

\[Ax = \lambda x\]

이때 스칼라 \(\lambda\)를 \(x\)와 짝을 이루는 고유값(eigenvalue) 이라 한다.

즉 \(A\)는 고유벡터에 대해 단순한 상수배로 작용한다. \((1, 1)\)은 고유값 \(8\)에 대한 고유벡터다. 또 다른 고유벡터는 \((6, -5)\)(같은 방향으로 \((1, -5/6)\))이다.

\[A \begin{bmatrix} 6 \\ -5 \end{bmatrix} = \begin{bmatrix} 12 - 30 \\ 30 - 15 \end{bmatrix} = \begin{bmatrix} -18 \\ 15 \end{bmatrix} = -3 \begin{bmatrix} 6 \\ -5 \end{bmatrix}\]

이 고유벡터의 고유값은 \(-3\)이다. 음수이므로 벡터가 반대쪽으로 뒤집히지만, 같은 직선 위에 머문다.

A general vector turns under A while the eigenvectors stay on their lines \(A = \begin{bmatrix} 2 & 6 \\ 5 & 3 \end{bmatrix}\)를 곱하기 전(굵은 화살표)과 후(가는 화살표). \((1, 2)\)는 방향이 바뀌지만, \((1, 1)\)과 \((6, -5)\)는 각자의 점선 위에 머문다.

파란 화살표 \(\mathbf{x} = (1, 2)\)는 \(A\mathbf{x} = (14, 11)\)로 가면서 각도가 달라진다. 빨간 화살표 \((1, 1)\)은 같은 점선을 따라 8배 길어진 \((8, 8)\)로 가고, 초록 화살표 \((6, -5)\)는 같은 점선을 따라 원점 반대편으로 넘어가 3배 길어진 \((-18, 15)\)가 된다. 두 점선이 \(A\)의 고유벡터가 생성하는 직선이며, 이 직선 위의 벡터는 어느 것이든 직선을 벗어나지 않는다.

고유벡터는 사실상 방향이다

\(Ax = \lambda x\)이면, 영이 아닌 임의의 스칼라 \(c\)에 대해 다음이 성립한다.

\[A(cx) = c\,Ax = c\lambda x = \lambda (cx)\]

따라서 \((3, 3)\), \((-1, -1)\) 등 \((1, 1)\)의 모든 영이 아닌 상수배도 \(\lambda = 8\)의 고유벡터다. 중요한 것은 특정 벡터 하나가 아니라 \(x\)가 생성하는 직선, 즉 방향이다. 그래서 고유벡터의 개수를 셀 때 의미 있는 것은 선형독립인 고유벡터의 개수다. \(2 \times 2\) 행렬에서는 최대 2개, \(3 \times 3\) 행렬에서는 최대 3개이며, 그보다 적을 수도 있다.

고유벡터가 유용한 이유

\(2 \times 2\) 행렬과 벡터의 곱 \(Ax\)를 계산하려면 곱셈 4번과 덧셈 2번이 필요하다. \(x\)가 고유벡터임을 미리 알면 \(Ax = \lambda x\)는 곱셈 2번이면 된다. 큰 행렬이나 곱을 반복하는 경우에는 이 차이가 매우 커진다. 이 아이디어는 이 섹션 끝의 고유값 분해에서 다시 등장한다. 주성분 분석(principal component analysis) 같은 고전적인 데이터 분석 기법도 고유벡터에 기반한다.

특성방정식

▶ 28강

\(Ax = \lambda x\)를 동차 연립방정식으로 바꾸기

모든 항을 한쪽으로 옮기고 단위행렬을 끼워 넣는다.

\[Ax - \lambda x = 0 \quad\Longrightarrow\quad Ax - \lambda I x = 0 \quad\Longrightarrow\quad (A - \lambda I)\,x = 0\]

\(A - \lambda I\)는 \(A\)의 대각성분마다 \(\lambda\)를 뺀 행렬이다.

영벡터를 제외하는 이유

\((A - \lambda I)x = 0\)은 항상 자명해 \(x = 0\)을 가진다. 영벡터는 모든 \(\lambda\)에 대해 \(A0 = \lambda 0\)을 만족하므로 아무 정보도 주지 않는다. 또 영벡터에는 지켜야 할 방향 자체가 없다. 그래서 고유벡터는 영이 아니어야 한다.

핵심 조건

필요한 것은 \((A - \lambda I)x = 0\)의 영이 아닌 해다. 앞에서 배운 선형독립의 내용에 따르면, 동차 연립방정식이 자명하지 않은 해를 가질 필요충분조건은 계수행렬의 열들이 선형종속인 것이다. 정사각행렬에서는 이것이 다음과 같다.

  • \(A - \lambda I\)가 가역(invertible)이 아니다. 즉
  • \(\det(A - \lambda I) = 0\)이다.

\(A\) 자체의 열은 선형독립일 수 있다. 예에서 열 \((2, 5)\)와 \((6, 3)\)은 서로 다른 방향을 가리킨다. 대각성분에서 알맞은 \(\lambda\)를 빼야 열이 종속이 되며, 그런 \(\lambda\)는 특정한 값들뿐이다.

정의. 다음 방정식을 \(A\)의 특성방정식(characteristic equation) 이라 한다.

\[\det(A - \lambda I) = 0\]

좌변은 \(\lambda\)에 대한 \(n\)차 다항식이며 특성다항식(characteristic polynomial) 이라 한다. 그 근이 \(A\)의 고유값이다.

예제 (\(2 \times 2\))

\(A = \begin{bmatrix} 2 & 6 \\ 5 & 3 \end{bmatrix}\)에 대해 \(\det \begin{bmatrix} a & b \\ c & d \end{bmatrix} = ad - bc\)를 쓰면 다음과 같다.

\[\det(A - \lambda I) = (2 - \lambda)(3 - \lambda) - 6 \cdot 5 = \lambda^2 - 5\lambda - 24 = (\lambda - 8)(\lambda + 3)\]

따라서 고유값은 \(\lambda = 8\)과 \(\lambda = -3\)이다.

각 고유값을 다시 대입하여 \((A - \lambda I)x = 0\)을 푼다.

\(\lambda = 8\)일 때:

\[A - 8I = \begin{bmatrix} -6 & 6 \\ 5 & -5 \end{bmatrix}\]

두 번째 열은 첫 번째 열의 \(-1\)배이므로 두 열을 더하면 영벡터가 된다. 즉 가중치 \((1, 1)\)이 해이고, \(x = (1, 1)\)은 앞에서 본 고유벡터다.

\(\lambda = -3\)일 때:

\[A + 3I = \begin{bmatrix} 5 & 6 \\ 5 & 6 \end{bmatrix}\]

두 열의 비는 \(5 : 6\)이다. 첫 번째 열의 6배에서 두 번째 열의 5배를 빼면 영벡터가 되므로 \(x = (6, -5)\)이다. 앞에서 추측으로 확인했던 두 번째 고유벡터를 이제 체계적인 방법으로 얻었다.

더 큰 행렬

\(3 \times 3\) 행렬식은 사루스 규칙(rule of Sarrus)으로 계산할 수 있다. 오른쪽 아래로 향하는 세 대각선의 곱을 더하고, 오른쪽 위로 향하는 세 대각선의 곱을 뺀다.

\[\det \begin{bmatrix} a & b & c \\ d & e & f \\ g & h & i \end{bmatrix} = aei + bfg + cdh - ceg - afh - bdi\]

\(A - \lambda I\)의 주대각성분은 모두 \(\lambda\)를 포함하고, 세 대각성분의 곱에서 \(\lambda^3\) 항이 나온다. 따라서 \(3 \times 3\) 행렬의 특성다항식은 3차식이고 근은 최대 3개다. 일반적으로 \(n \times n\) 행렬의 특성다항식은 \(n\)차다.

예를 들어 다음 행렬을 보자.

\[A = \begin{bmatrix} 4 & -1 & 6 \\ 2 & 1 & 6 \\ 2 & -1 & 8 \end{bmatrix}, \qquad \det(A - \lambda I) = -(\lambda^3 - 13\lambda^2 + 40\lambda - 36) = -(\lambda - 2)^2(\lambda - 9)\]

고유값은 \(2\)(중근)와 \(9\)다. 이 행렬은 다음 두 강의에서 다시 쓴다.

\(\lambda\)를 알더라도 큰 행렬에서 \((A - \lambda I)x = 0\)의 영이 아닌 해를 눈으로 찾기는 어렵다. 체계적인 방법은 시리즈 첫 섹션에서 다룬 가우스 소거법(Gaussian elimination), 즉 행 축약이다. 이 방법은 크기와 상관없이 동차 연립방정식의 모든 해를 구해 준다.

영공간과 고유공간

▶ 29강

영공간

정의. \(m \times n\) 행렬 \(A\)의 영공간(null space) 은 \(Ax = 0\)의 모든 해의 집합이다.

\[\operatorname{Nul} A = \{ x \in \mathbb{R}^n : Ax = 0 \}\]

영공간은 \(\mathbb{R}^n\)의 부분공간(subspace) 이다. \(0\)을 포함하고, 선형결합에 대해 닫혀 있다. \(Au = 0\)이고 \(Av = 0\)이면 \(A(cu + dv) = 0\)이기 때문이다. 모든 부분공간처럼 영공간도 기저(basis)를 가지며, 그 기저 벡터의 개수가 차원이다.

고유값 \(\lambda\)에 대한 모든 고유벡터에 \(0\)을 더한 집합은 \(A - \lambda I\)의 영공간이다. 이를 \(\lambda\)의 고유공간(eigenspace) 이라 한다. 고유공간의 차원은 1보다 클 수 있다. 즉 하나의 고유값에 선형독립인 고유벡터가 여러 개 있을 수 있다.

기하학적 관점: 행과의 직교

\(Ax = 0\)을 행별로 쓰면, 각 방정식은 \(A\)의 한 행과 \(x\)의 내적이 0이라는 뜻이다. 따라서 \(x \in \operatorname{Nul} A\)일 필요충분조건은 \(x\)가 \(A\)의 모든 행과 직교하는 것이다.

예를 들어 다음 행렬을 보자.

\[B = \begin{bmatrix} 1 & 2 & 3 \\ 2 & 4 & 6 \\ 3 & 6 & 9 \end{bmatrix}\]

세 행은 모두 원점을 지나는 한 직선, 즉 \((1, 2, 3)\)이 생성하는 직선 위에 있다. \(\mathbb{R}^3\)에서 한 직선과 직교하는 벡터 전체는 평면 하나를 이룬다. 따라서 \(\operatorname{Nul} B\)는 평면 \(x_1 + 2x_2 + 3x_3 = 0\)이다. 이 평면은 2차원이며, 기저의 예는 \((2, -1, 0)\)과 \((3, 0, -1)\)이다.

앞 강의의 \(3 \times 3\) 행렬에서 \(\lambda = 2\)일 때도 같은 일이 일어난다.

\[A - 2I = \begin{bmatrix} 2 & -1 & 6 \\ 2 & -1 & 6 \\ 2 & -1 & 6 \end{bmatrix}\]

모든 행이 \((2, -1, 6)\)이므로 \(\lambda = 2\)의 고유공간은 이 벡터와 직교하는 평면이다. 기저는 다음과 같이 잡을 수 있다.

\[v_1 = \begin{bmatrix} 1 \\ 2 \\ 0 \end{bmatrix}, \qquad v_2 = \begin{bmatrix} -3 \\ 0 \\ 1 \end{bmatrix}\]

하나의 고유값 \(2\)에 선형독립인 고유벡터가 두 개 있다.

전체 공간 나누기: 직교여공간

이 패턴은 일반화된다. \(5 \times 5\) 행렬의 행들이 2차원 부분공간을 생성한다고 하자. \(\mathbb{R}^5\)의 정규직교기저 중 처음 두 벡터가 그 행공간을 생성하도록 고를 수 있다. 나머지 세 기저 벡터는 행공간 전체와 직교하므로 영공간은 3차원이다. 차원이 \(5 = 2 + 3\)으로 나뉜다.

정의. \(\mathbb{R}^n\)의 부분공간 \(W\)에 대해, \(W\)의 모든 벡터와 직교하는 벡터 전체의 집합 \(W^\perp\)를 직교여공간(orthogonal complement) 이라 한다. \(W^\perp\)도 부분공간이며 다음이 성립한다.

\[\dim W + \dim W^\perp = n\]

행렬에 대해서는 \(\operatorname{Nul} A = (\operatorname{Row} A)^\perp\)이므로 다음을 얻는다.

\[\dim \operatorname{Nul} A = n - \operatorname{rank} A\]

\(\mathbb{R}^3\)에서 가능한 분할은 \(3 = 1 + 2\), \(2 + 1\)(그리고 자명한 \(0 + 3\), \(3 + 0\))뿐이다. 차원이 높아지면 공간을 나누는 방법이 더 많아진다.

모든 고유값 찾기: 대수적 중복도와 기하적 중복도

▶ 30강

중근

\(n \times n\) 행렬의 특성다항식은 \(n\)차이고, 근이 겹칠 수 있다. 어떤 \(5 \times 5\) 행렬의 특성다항식이 다음과 같다고 하자.

\[\det(A - \lambda I) = -(\lambda - 2)^3(\lambda - 5)(\lambda - 8)\]

중복을 포함하면 근은 다섯 개다. \(2\)가 세 번, \(5\)와 \(8\)이 한 번씩이다.

정의.

  • \(\lambda\)의 대수적 중복도(algebraic multiplicity, AM) 는 특성다항식의 근으로서 \(\lambda\)가 겹치는 횟수다.
  • \(\lambda\)의 기하적 중복도(geometric multiplicity, GM) 는 고유공간 \(\operatorname{Nul}(A - \lambda I)\)의 차원, 즉 \(\lambda\)에 대한 선형독립인 고유벡터의 최대 개수다.

다음은 기본 사실이며, 여기서는 증명 없이 적는다.

\[1 \le \text{GM}(\lambda) \le \text{AM}(\lambda)\]

하한은 모든 고유값에서 \(A - \lambda I\)가 비가역이므로 영이 아닌 해가 적어도 하나 있다는 데서 나온다. 위 예에서 \(\lambda = 2\)는 선형독립인 고유벡터를 1개, 2개 또는 3개 줄 수 있고, \(\lambda = 5\)와 \(\lambda = 8\)은 정확히 1개씩 준다.

서로 다른 고유값의 고유벡터는 선형독립이다

정리. 서로 다른 고유값에 속하는 고유벡터들은 선형독립이다. 더 일반적으로, 각 고유공간의 기저를 모두 모은 집합도 선형독립이다.

두 벡터에 대한 증명 스케치. \(Av_1 = \lambda_1 v_1\), \(Av_2 = \lambda_2 v_2\), \(\lambda_1 \neq \lambda_2\)라 하자. \(c_1 v_1 + c_2 v_2 = 0\)이면 양변에 \(A\)를 곱해 \(c_1\lambda_1 v_1 + c_2 \lambda_2 v_2 = 0\)을 얻는다. 여기서 첫 식의 \(\lambda_2\)배를 빼면 \(c_1(\lambda_1 - \lambda_2)v_1 = 0\)이다. \(v_1 \neq 0\)이고 \(\lambda_1 \neq \lambda_2\)이므로 \(c_1 = 0\)이고, 따라서 \(c_2 = 0\)이다.

고유벡터가 전체 공간을 채우는 경우

위의 다섯 근이 모두 실수이고, 모든 고유값이 GM의 최댓값에 도달한다고 하자. 즉 \(\lambda = 2\)에서 3개, \(5\)와 \(8\)에서 1개씩 선형독립인 고유벡터를 얻는다. 정리에 의해 이 다섯 벡터는 선형독립이다. \(\mathbb{R}^5\)에서 선형독립인 벡터 5개는 \(\mathbb{R}^5\) 전체를 생성한다. \(\mathbb{R}^3\)에서 선형독립인 벡터 3개가 \(\mathbb{R}^3\) 전체를 생성하는 것과 같다. 독립인 벡터를 하나 추가할 때마다 생성 공간(span)의 차원이 하나씩 늘어나기 때문이다.

\(\lambda = 2\)에서 독립인 고유벡터를 2개만 얻으면 합계는 4개다. 4개의 벡터는 \(\mathbb{R}^5\)의 4차원 부분공간만 생성하고, 전체 공간은 덮지 못한다.

근이 모두 다르면 간단하다

\(n\)개의 근이 모두 다르면 모든 AM이 1이다. \(1 \le \text{GM} \le \text{AM} = 1\)이므로 각 고유값은 정확히 하나의 고유벡터를 주고, 이 \(n\)개의 고유벡터는 선형독립이다. 따라서 \(\mathbb{R}^n\)을 생성한다.

\(3 \times 3\) 예에서 \(\lambda = 2\)는 AM \(= 2\), GM \(= 2\)이고, \(\lambda = 9\)는 AM \(=\) GM \(= 1\)이다. 간단히 확인하면 \(v_3 = (1, 1, 1)\)이 \(9\)의 고유벡터다. 따라서 \(v_1, v_2, v_3\)는 \(\mathbb{R}^3\)을 생성하는 선형독립인 고유벡터 세 개다.

Eigenspace plane of lambda = 2 and eigenline of lambda = 9 for the 3x3 example \(3 \times 3\) 예의 고유공간. 음영 평면이 \(\lambda = 2\)의 고유공간 \(2x_1 - x_2 + 6x_3 = 0\)이고, 빨간 점선이 \(\lambda = 9\)의 고유공간인 \((1, 1, 1)\) 방향 직선이다.

\(\lambda = 2\)는 GM \(= 2\)이므로 고유공간이 평면이고, 그 안의 영이 아닌 벡터는 모두 고유벡터다. 파란 \(v_1, v_2\)는 그 평면의 기저 하나일 뿐이다. \(\lambda = 9\)의 고유공간은 평면을 비스듬히 뚫고 지나가는 직선이다. 직선이 평면 밖으로 나가므로 \(v_3\)는 \(v_1, v_2\)의 생성 공간에 속하지 않고, 세 벡터가 함께 \(\mathbb{R}^3\)을 생성한다. 이 행렬은 대칭이 아니므로 직선이 평면에 수직일 필요는 없다. 실제로 \((1, 1, 1) \cdot (2, -1, 6) = 7 \neq 0\)이어서 직선은 평면의 법선 방향이 아니다.

결국 \(n \times n\) 행렬은 두 종류로 나뉜다. \(\mathbb{R}^n\)을 생성하는 \(n\)개의 독립인 고유벡터를 가진 행렬과, 고유벡터가 그보다 작은 공간만 생성하는 행렬이다. 이 차이가 다음 강의에서 중요해진다.

대각화

▶ 31강

대각행렬(diagonal matrix) 은 주대각선 밖의 성분이 모두 0인 행렬이다. 정사각행렬 \(A\)를 대각화(diagonalization) 한다는 것은 다음이 대각행렬이 되도록 하는 가역행렬 \(V\)를 찾는 것이다.

\[V^{-1} A V = D\]

\(V^{-1}\)이 등장하므로 \(V\)는 반드시 가역이어야 한다.

답: 고유벡터와 고유값

알맞은 \(V\)는 \(A\)의 고유벡터를 열로 가지는 행렬이고, 그때 \(D\)의 대각성분은 대응하는 고유값이다. 지금까지의 예에서는 다음과 같다.

\[V = \begin{bmatrix} 1 & 6 \\ 1 & -5 \end{bmatrix}, \qquad V^{-1} A V = \begin{bmatrix} 8 & 0 \\ 0 & -3 \end{bmatrix} = D\]

\(V\)의 첫 열은 고유값 \(8\)의 고유벡터이므로 \(D\)의 첫 대각성분이 \(8\)이다. 둘째 열은 \(-3\)과 짝을 이룬다.

성립하는 이유

\(V^{-1}AV = D\)의 양변 왼쪽에 \(V\)를 곱한다.

\[AV = VD\]

\(V = [v_1 \ \cdots \ v_n]\), \(D = \operatorname{diag}(\lambda_1, \dots, \lambda_n)\)으로 두고 양변을 열별로 비교한다.

  • \(AV\)의 \(i\)번째 열은 \(Av_i\)다. 즉 \(v_i\)의 성분을 가중치로 한 \(A\)의 열들의 선형결합이다.
  • \(VD\)의 \(i\)번째 열은 \(D\)의 \(i\)번째 열을 가중치로 한 \(V\)의 열들의 선형결합이다. 이 열에서 영이 아닌 성분은 \(\lambda_i\) 하나뿐이므로 결과는 \(\lambda_i v_i\)다.

따라서 \(AV = VD\)는 다음과 동치다.

\[Av_i = \lambda_i v_i \quad (i = 1, \dots, n)\]

\(V\)의 열은 고유벡터여야 하고, \(D\)의 대각성분은 고유값이어야 한다.

언제 대각화가 가능한가?

\(V\)는 가역이어야 한다. \(n \times n\) 행렬이 가역일 필요충분조건은 \(n\)개의 열이 선형독립인 것이다. 따라서 다음을 얻는다.

정리. \(n \times n\) 행렬 \(A\)가 대각화 가능할 필요충분조건은 \(A\)가 선형독립인 고유벡터를 \(n\)개 가지는 것이다.

중복도로 말하면, 기하적 중복도의 합이 \(n\)일 때 정확히 대각화 가능하다. 어떤 고유값의 GM이 모자라면 가역인 \(V\)를 만들 만큼 독립인 고유벡터가 없다.

\(3 \times 3\) 예에서는 다음과 같다.

\[V = \begin{bmatrix} 1 & -3 & 1 \\ 2 & 0 & 1 \\ 0 & 1 & 1 \end{bmatrix}, \qquad V^{-1}AV = \begin{bmatrix} 2 & 0 & 0 \\ 0 & 2 & 0 \\ 0 & 0 & 9 \end{bmatrix}\]

대각화가 불가능한 행렬의 예는 다음과 같다.

\[\begin{bmatrix} 1 & 1 \\ 0 & 1 \end{bmatrix}\]

유일한 고유값은 \(1\)이고 AM \(= 2\)다. 그런데 \(A - I = \begin{bmatrix} 0 & 1 \\ 0 & 0 \end{bmatrix}\)의 영공간은 \((1, 0)\)이 생성하는 1차원 공간이므로 GM \(= 1\)이다. 독립인 고유벡터가 하나뿐이어서 가역인 \(V\)가 존재하지 않는다.

A shear matrix acting on the unit square and grid \(\begin{bmatrix} 1 & 1 \\ 0 & 1 \end{bmatrix}\)이 단위정사각형과 격자를 미는 모습. \(x_1\)축만 제자리에 남고, 다른 방향은 모두 기울어진다.

이 행렬은 각 점을 높이 \(x_2\)만큼 오른쪽으로 민다(층밀림, shear). \(x_1\)축 위의 점은 높이가 0이므로 움직이지 않고, 그래서 \((1, 0)\)은 고유값 \(1\)의 고유벡터다. 반면 \((0, 1)\)은 \((1, 1)\)로, \((-1, 1)\)은 \((0, 1)\)로 가는 등 축 밖의 벡터는 모두 방향이 바뀐다. 고유벡터 직선이 \(x_1\)축 하나뿐이므로 \(\mathbb{R}^2\)를 생성하는 고유벡터 기저를 만들 수 없다.

고유값 분해

▶ 32강

행렬의 인수분해

\(V^{-1}AV = D\)에서 \(V\)와 \(V^{-1}\)을 반대편으로 옮긴다.

\[A = V D V^{-1}\]

수를 소인수의 곱으로 나타내듯, \(A\)를 세 행렬의 곱으로 나타낸 것이다. 인수가 고유벡터(\(V\))와 고유값(\(D\))으로 이루어져 있으므로 이를 \(A\)의 고유값 분해(eigendecomposition) 라 한다. 고유값 분해는 \(A\)가 대각화 가능할 때 정확히 존재한다.

선형변환을 세 단계로 보기

행렬의 곱은 합성함수처럼 오른쪽에서 왼쪽으로 작용한다. 따라서 다음 식은 세 번의 변환을 차례로 적용한 것으로 읽을 수 있다.

\[Ax = V\big(D\,(V^{-1}x)\big)\]

1단계: 좌표 변환, \(y = V^{-1}x\). \(Vy = x\)를 푼다는 것은 \(x\)를 고유벡터의 선형결합 \(x = y_1 v_1 + y_2 v_2\)로 쓰는 것이다. 기하학적으로는 \(v_1\), \(v_2\) 방향의 변을 가지고 맞은편 꼭짓점이 \(x\)인 평행사변형을 그리는 것이다. 가중치 \(y\)는 고유벡터 기저에서 본 \(x\)의 좌표다. \(n\)개의 고유벡터가 독립이고 \(\mathbb{R}^n\)을 생성하므로, 모든 \(x\)는 이런 좌표를 가지며 그 좌표는 유일하다.

예의 \(v_1 = (1, 1)\), \(v_2 = (6, -5)\)로 \(x = (7, -4)\)를 생각하자. \(x = 1 \cdot v_1 + 1 \cdot v_2\)이므로 다음과 같다.

\[y = V^{-1}x = \begin{bmatrix} 1 \\ 1 \end{bmatrix}\]

(실제로 \(V^{-1} = \frac{1}{11}\begin{bmatrix} 5 & 6 \\ 1 & -1 \end{bmatrix}\)이고 \(\frac{1}{11}(35 - 24,\ 7 + 4) = (1, 1)\)이다.)

2단계: 크기 조정, \(z = Dy\). 대각행렬과의 곱에는 완전한 행렬-벡터 곱이 필요 없다. 각 좌표에 해당 대각성분을 곱하기만 하면 되고, 좌표끼리 섞이지 않는다.

\[\begin{bmatrix} 8 & 0 \\ 0 & -3 \end{bmatrix}\begin{bmatrix} 1 \\ 1 \end{bmatrix} = \begin{bmatrix} 8 \\ -3 \end{bmatrix}\]

기하학적으로는 평행사변형의 각 변을 해당 고유값만큼 따로 늘이거나 줄이는 것이다. 각 변의 방향은 바뀌지 않는다.

3단계: 표준좌표로 복귀, \(Vz\). 크기를 조정한 조각들을 다시 합친다.

\[Ax = Vz = 8v_1 - 3v_2 = 8\begin{bmatrix} 1 \\ 1 \end{bmatrix} - 3\begin{bmatrix} 6 \\ -5 \end{bmatrix} = \begin{bmatrix} -10 \\ 23 \end{bmatrix}\]

직접 곱한 결과와 같다: \(A(7, -4) = (14 - 24,\ 35 - 12) = (-10, 23)\).

선형성으로 쓰면 다음과 같다.

\[A(y_1 v_1 + y_2 v_2) = y_1 Av_1 + y_2 Av_2 = y_1\lambda_1 v_1 + y_2 \lambda_2 v_2\]

따라서 고유벡터이든 아니든 어떤 벡터에 대해서도 \(A\)를 곱하는 일을 상수배만으로 처리할 수 있다. 벡터를 고유벡터 방향으로 나누고, 각 조각에 고유값을 곱하고, 다시 더하면 된다.

요약하면, \(V^{-1}\)은 고유벡터를 축으로 하는 좌표계로 옮기고, \(D\)는 각 축 방향으로 따로 크기를 바꾸며, \(V\)는 원래 좌표계로 되돌린다.

Ax computed as V times D times V-inverse x for x = (7, -4), in three steps \(\mathbf{x} = (7, -4)\)에 대한 \(A\mathbf{x} = V\big(D(V^{-1}\mathbf{x})\big)\)의 세 단계. (1) \(\mathbf{x}\)를 \(v_1\), \(v_2\) 방향의 평행사변형으로 나누고, (2) 고유벡터 좌표 \((1, 1)\)을 \((8, -3)\)으로 바꾼 뒤, (3) 다시 합쳐 \((-10, 23)\)을 얻는다.

첫 패널에서 \(\mathbf{x}\)는 \(v_1 = (1, 1)\)과 \(v_2 = (6, -5)\)를 한 번씩 더한 평행사변형의 대각선이다. 가운데 패널은 고유벡터 좌표계에서 본 그림으로, 가로축이 \(v_1\) 좌표, 세로축이 \(v_2\) 좌표다. 여기서 \(D\)는 가로를 8배, 세로를 \(-3\)배 하므로 좌표 \((1, 1)\)이 \((8, -3)\)이 되고, 두 좌표는 서로 섞이지 않는다. 마지막 패널에서 \(8v_1\)과 \(-3v_2\)로 새 평행사변형을 그리면 그 대각선이 \(A\mathbf{x} = (-10, 23)\)이다. 옅은 파란 화살표는 비교를 위해 그린 원래의 \(\mathbf{x}\)다.

행렬의 거듭제곱

이 분해의 이득은 곱을 반복할 때 가장 크다. 이웃한 인수 사이의 \(V^{-1}V = I\)가 소거되므로 다음이 성립한다.

\[A^k = (VDV^{-1})(VDV^{-1})\cdots(VDV^{-1}) = V D^k V^{-1}\]

대각행렬의 거듭제곱은 각 대각성분의 거듭제곱이다.

\[D^k = \begin{bmatrix} \lambda_1^k & 0 \\ 0 & \lambda_2^k \end{bmatrix}\]

따라서 다음과 같다.

\[A^k x = y_1 \lambda_1^k v_1 + y_2 \lambda_2^k v_2\]

예에서 \(k = 2\)이면 다음과 같다.

\[A^2 x = 64\,v_1 + 9\,v_2 = \begin{bmatrix} 64 + 54 \\ 64 - 45 \end{bmatrix} = \begin{bmatrix} 118 \\ 19 \end{bmatrix}\]

이는 \(A(-10, 23) = (-20 + 138,\ -50 + 69)\)와 일치한다. 행렬-벡터 곱을 \(k\)번 하는 대신, 고유벡터 좌표를 한 번 구하고, 수 \(n\)개를 \(k\)제곱하고, 한 번 다시 합치면 된다.

정리

  • 정사각행렬 \(A\)의 고유벡터는 \(Ax = \lambda x\)를 만족하는 영이 아닌 \(x\)다. \(A\)는 고유벡터의 길이만 바꾸고(뒤집을 수는 있다) 직선은 바꾸지 않는다. 중요한 것은 방향이며, 영이 아닌 상수배도 모두 고유벡터다.
  • 고유값은 특성방정식 \(\det(A - \lambda I) = 0\), 즉 \(n\)차 다항식의 근이다. 각 고유값의 고유벡터는 \((A - \lambda I)x = 0\)의 영이 아닌 해이며 행 축약으로 구한다.
  • \(\lambda\)의 고유공간은 영공간 \(\operatorname{Nul}(A - \lambda I)\)이고 부분공간이다. 영공간은 행공간의 직교여공간이므로 \(\dim \operatorname{Nul} A = n - \operatorname{rank} A\)다.
  • 대수적 중복도는 근이 겹치는 횟수, 기하적 중복도는 고유공간의 차원이며 \(1 \le \text{GM} \le \text{AM}\)이다. 서로 다른 고유값의 고유벡터는 선형독립이다.
  • \(A\)가 대각화 가능(\(V^{-1}AV = D\))할 필요충분조건은 독립인 고유벡터가 \(n\)개 있는 것이다. 이때 \(V\)의 열은 고유벡터, \(D\)의 대각성분은 고유값이다. 고유값이 모두 다르면 항상 대각화 가능하다.
  • 고유값 분해 \(A = VDV^{-1}\)는 고유벡터 좌표로 옮기고, 각 좌표를 고유값만큼 조정하고, 다시 되돌리는 과정이다. 거듭제곱은 \(A^k = VD^kV^{-1}\)로 간단해진다.