3 Inseok Kong Schedule

SEE Matrix 2: 스펙트럼 분해를 눈으로 보기

대칭 행렬의 변환을 회전, 축 방향 늘이기, 역회전의 세 단계로 나누어 보는 스펙트럼 분해 S = QΛQᵀ를 시각적으로 정리한다.

출발점

Chapter 1을 두 문장으로 요약하면 다음과 같다.

  1. 행렬을 점들의 움직임으로 시각화하는 틀을 만들고, 이름 있는 행렬들을 살펴보았다.
  2. 그중 꼭 기억할 두 행렬이 있다. 대각 행렬(diagonal matrix)은 각 축을 늘이고, 직교 행렬(orthogonal matrix)은 회전시킨다.

하지만 대부분의 행렬은 변환을 말로 설명하기 어렵다. 대칭 행렬(symmetric matrix)도 그렇다. 이 장의 목표는 어떤 대칭 행렬을 보더라도 “변환은 복잡해 보이지만 스펙트럼 분해로 보면 단순한 변환 세 개의 연속이고, 각각이 무엇인지 안다”라고 말할 수 있게 되는 것이다. 그러려면 네 가지를 먼저 알아야 한다.

1. 대칭 행렬과 전치

대칭 행렬은 대각선을 기준으로 양쪽 성분이 같은 정사각 행렬이다. 직사각 행렬(rectangular matrix)은 결코 대칭일 수 없다.

\[S = \begin{bmatrix} 4 & 2 \\ 2 & 4 \end{bmatrix}, \qquad \begin{bmatrix} 1 & 7 & 3 \\ 7 & 4 & -5 \\ 3 & -5 & 6 \end{bmatrix}\]

전치(transpose)는 행렬 자체가 아니라 행렬에 하는 동작이다. 행을 열로 바꾸며, 결과를 \(A^T\)라고 쓴다. 직사각 행렬도 전치할 수 있고, \(3 \times 2\) 행렬은 \(2 \times 3\) 행렬이 된다.

  • 대칭 행렬을 전치하면 자기 자신이 나온다. 그래서 대칭 행렬의 다른 정의는 \(S = S^T\)이다.
  • 덜 당연한 사실: 직교 행렬을 전치하면 역행렬이 된다. \(Q^T = Q^{-1}\), 즉 \(Q^TQ = I\)이다.

두 번째 사실은 시각적으로 자연스럽다. 직교 행렬은 회전이고, 역행렬은 변환을 되돌리는 것이며, 회전을 되돌리는 것은 반대 방향으로 회전하는 것이다. 따라서 \(Q\)가 \(z\)축 둘레로 25° 회전이면 \(Q^T\)는 \(z\)축 둘레로 \(-25°\) 회전이다.

2. 행렬 분해란

행렬을 곱하는 것은 서로 다른 변환을 하나로 합성(composition)하는 것이다. 분해(decomposition)는 그 반대로, 행렬 하나의 변환을 훨씬 단순한 변환들의 연속으로 다시 쓰는 것이다.

합성은 쉽다. 행렬 곱의 규칙대로 곱하면 된다. 분해는 어렵다. 아무 행렬이나 받아서 “단순한 행렬 세 개로 나눠라”라고 하면, 첫 번째가 늘이기인지 전단인지 회전인지조차 알 수 없다. 스펙트럼 분해가 그 길잡이가 된다.

3. 고유벡터와 고유값

여러 행렬을 시각화하다 보면 변환이 일종의 왜곡처럼 보인다. 아무 행렬이나 골라 벡터 몇 개를 따라가면, 거의 모든 벡터가 원래 방향에서 벗어난다. 그런데 어떤 행렬에는 변환을 받고도 원래 직선 위에 머무는 벡터가 숨어 있다. 그것이 고유벡터(eigenvector)이다.

Arrows before and after a symmetric 2x2 matrix: only the two eigenvector directions stay on their lines \(S = \begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix}\)를 적용하기 전(왼쪽)과 후(오른쪽). 회색 화살표는 방향이 바뀌지만, 파란 두 화살표는 점선(원래 직선) 위에 머문다. \((1, 1)\) 방향은 3배로 늘어나고 \((-1, 1)\) 방향은 그대로(1배)이다.

  • 고유벡터 하나가 있으면 그 직선 위의 모든 벡터(그 span)도 고유벡터이다. 선형 변환이기 때문이다. 보통 그중 길이 1인 것 하나로 대표한다.
  • 고유벡터는 행렬에 따라 정해진다. \(A\)의 고유벡터는 대개 \(B\)의 고유벡터가 아니다.
  • \(2 \times 2\) 행렬이 고유벡터 방향을 두 개보다 적게 가질 수도 있다. (실수 범위에서 회전 행렬이 그런 예이다.)

고유값(eigenvalue)은 고유벡터와 항상 짝을 이루는 숫자로, 변환에서 그 고유벡터가 몇 배로 늘어나는지를 말한다. 영상의 예에서는 한 고유벡터가 2.7배로 늘어나고 다른 하나는 0.6배로 줄어든다. 이렇게 보고 나면 정의가 자연스럽다.

\[S\mathbf{e} = \lambda\mathbf{e}\]

변환 후에도 원래 직선 위에 있고, 고유값 \(\lambda\)만큼만 늘어난다는 뜻이다.

4. 대칭 행렬의 고유벡터는 서로 수직이다

대칭 행렬의 아주 강한 성질은 고유벡터들이 서로 직교한다는 것이다. 처음에는 대단해 보이지 않지만, 확률적으로 얼마나 드문 일인지 생각해 보면 다르다. 정사각 행렬이 고유벡터를 충분히 갖는다는 보장도 없고, 갖는다 해도 두 방향이 정확히 90°를 이룰 이유가 없다. 그런데 대칭 행렬이면 이것이 보장된다.

수직인 것이 왜 중요한가? 다른 수직인 것이 있기 때문이다. 바로 표준 기저(standard basis), 즉 \(x\)축과 \(y\)축이다. 따라서

  • 표준 기저를 고유벡터에 맞추도록 회전시키는 직교 행렬이 항상 존재하고,
  • 그 역행렬은 고유벡터를 표준 기저에 맞추도록 회전시킨다.

고유벡터가 수직이 아니었다면 이런 회전은 불가능하다.

스펙트럼 분해

이제 정리를 볼 준비가 되었다. 스펙트럼 분해(spectral decomposition)는 다음과 같다.

대칭 행렬 \(S\)는 언제나, 조건 없이 다음과 같이 분해된다.

\[S = Q \Lambda Q^T\]
  • \(Q\)는 직교 행렬이다. 열은 \(S\)의 정규화된 고유벡터이다.
  • \(\Lambda\)는 대각 행렬이다. 대각 성분은 고유값이고, \(Q\)의 열과 같은 순서로 놓인다.
  • \(Q^T\)는 \(Q\)의 전치이고, 역시 직교 행렬이다.

“직교, 대각, 직교”라는 말을 들으면 바로 “회전, 늘이기, 회전”이 떠올라야 한다. 각 행렬이 숫자까지 정확히 정해지므로 변환도 정확히 묘사할 수 있다.

  • \(\Lambda\): \(x\)축을 \(\lambda_1\)배, \(y\)축을 \(\lambda_2\)배 한다.
  • \(Q\): 표준 기저를 고유벡터로 보내는 회전이다. \(Q\begin{bmatrix} 1 \\ 0 \end{bmatrix}\)은 \(Q\)의 첫 열, 즉 첫 번째 고유벡터이고, \(Q\begin{bmatrix} 0 \\ 1 \end{bmatrix}\)은 두 번째 고유벡터이다. 일반적으로 \(i\)번째 표준 기저를 \(i\)번째 고유벡터로 보낸다.
  • \(Q^T = Q^{-1}\): 반대 방향의 회전이다. \(i\)번째 고유벡터를 \(i\)번째 표준 기저로 보낸다.

벡터에는 오른쪽 행렬부터 작용하므로 \(S\mathbf{x} = Q(\Lambda(Q^T\mathbf{x}))\)의 순서는 다음과 같다.

  1. \(Q^T\): 고유벡터를 표준 기저(\(x\), \(y\)축) 위로 회전시킨다.
  2. \(\Lambda\): 각 축을 고유값만큼 늘인다.
  3. \(Q\): 표준 기저를 다시 고유벡터 위치로 회전시킨다.

예제

\[S = \begin{bmatrix} 4 & 2 \\ 2 & 4 \end{bmatrix} = \underbrace{\frac{1}{\sqrt{2}}\begin{bmatrix} 1 & -1 \\ 1 & 1 \end{bmatrix}}_{Q} \underbrace{\begin{bmatrix} 6 & 0 \\ 0 & 2 \end{bmatrix}}_{\Lambda} \underbrace{\frac{1}{\sqrt{2}}\begin{bmatrix} 1 & 1 \\ -1 & 1 \end{bmatrix}}_{Q^T}\]

고유벡터는 \((1, 1)/\sqrt{2}\)(고유값 6)와 \((-1, 1)/\sqrt{2}\)(고유값 2)이다. 실제로 \(S(1, 1) = (6, 6)\), \(S(-1, 1) = (-2, 2)\)이다. \(Q\)는 45° 회전이다.

Unit circle through Q transpose, Lambda and Q, ending as a tilted ellipse 단위원이 \(S\)에 의해 변하는 과정. 파란 화살표는 고유값 6의 고유벡터, 주황 화살표는 고유값 2의 고유벡터이다. \(Q^T\)가 두 고유벡터를 축 위로 돌리고, \(\Lambda\)가 \(x\)축을 6배, \(y\)축을 2배 하고, \(Q\)가 다시 45° 돌린다. 최종 타원의 축이 고유벡터 방향이고, 반지름이 고유값이다.

\(3 \times 3\) 대칭 행렬도 같다. 영상의 예에서는 서로 수직인 세 고유벡터를 표준 기저 위로 돌리고, \(x\)축을 4.15배, \(y\)축을 \(-1.56\)배(음수이므로 방향이 뒤집힌다), \(z\)축을 1.31배 한 뒤, 다시 고유벡터 쪽으로 돌린다. \(\Lambda\)는 실제로는 세 축을 동시에 늘이지만, 보기 쉽게 하나씩 나누어 보여 준다.

정리

  • 스펙트럼 분해는 학교에서 흔히 고유값, 고유벡터를 구하는 계산 절차로 배우지만, 그 밑에는 기하학적 의미가 있다. 복잡한 변환을 회전, 늘이기, 역회전으로 표현하는 것이다.
  • 회전은 고유벡터가 정하고, 늘이기 정도는 고유값이 정한다.
  • 한계: 아무 행렬이나 고르면 대개 정사각 행렬이 아니고, 정사각 행렬이라도 대칭이 아니다. 대칭이 아닌 행렬, 정사각이 아닌 행렬, 어떤 차원의 행렬에도 같은 정신을 적용할 수 있을까? 그것이 Chapter 3의 특이값 분해(SVD)이다.

대칭 행렬과 스펙트럼 정리의 계산 쪽은 Linear Algebra 8에 정리되어 있다.