- 질문 출처: Science Vibe, 머신러닝 면접 질문 모음
면접 답변
대칭 행렬(symmetric matrix)은 전치해도 자기 자신과 같은, 즉 모든 i, j에서 (i, j) 성분과 (j, i) 성분이 같은 정방행렬입니다. 대칭 행렬이 중요한 이유는 스펙트럴 정리 때문으로, 고유값이 모두 실수이고 서로 직교하는 고유벡터의 기저를 항상 가집니다. 이 덕분에 행렬을 서로 수직인 축 방향의 단순한 늘림과 줄임으로 해석할 수 있습니다. 머신러닝에서는 공분산 행렬, 헤시안, 커널 행렬이 모두 대칭이어서 자주 등장합니다. 예를 들어 PCA는 대칭인 공분산 행렬을 직교 대각화해 주성분을 구합니다.
자세한 설명
정의
정방행렬 \(A\)가 \(A = A^\top\), 즉 \(a_{ij} = a_{ji}\)이면 대칭이다. 임의의 행렬 \(X\)에 대해 \(X^\top X\)와 \(XX^\top\)은 항상 대칭이다.
\[(X^\top X)^\top = X^\top (X^\top)^\top = X^\top X\]스펙트럴 정리
실수 대칭 행렬은 다음과 같이 분해된다. \(Q\)는 고유벡터를 열로 갖는 직교 행렬(\(Q^\top Q = I\)), \(\Lambda\)는 고유값을 담은 실수 대각 행렬이다.
\[A = Q\Lambda Q^\top = \sum_{i=1}^{n}\lambda_i\mathbf{q}_i\mathbf{q}_i^\top\]서로 다른 고유값의 고유벡터가 직교한다는 사실은 다음에서 바로 나온다.
\[\lambda_1\mathbf{q}_1^\top\mathbf{q}_2 = (A\mathbf{q}_1)^\top\mathbf{q}_2 = \mathbf{q}_1^\top A\mathbf{q}_2 = \lambda_2\mathbf{q}_1^\top\mathbf{q}_2\]\(\lambda_1 \ne \lambda_2\)이면 \(\mathbf{q}_1^\top\mathbf{q}_2 = 0\)이어야 한다.
수치 예제
\(A = \begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix}\)의 고유값은 3과 1이고, 고유벡터는 \((1, 1)/\sqrt{2}\)와 \((1, -1)/\sqrt{2}\)로 서로 직교한다.
반면 대칭이 아닌 \(\begin{bmatrix} 1 & 1 \\ 0 & 2 \end{bmatrix}\)의 고유벡터는 \((1, 0)\)과 \((1, 1)\)로 직교하지 않는다.
2차 형식과 대칭 부분
임의의 정방행렬은 대칭 부분과 반대칭 부분으로 나눌 수 있다.
\[A = \underbrace{\frac{A + A^\top}{2}}_{\text{symmetric}} + \underbrace{\frac{A - A^\top}{2}}_{\text{skew-symmetric}}\]반대칭 부분은 \(\mathbf{x}^\top(\cdot)\mathbf{x}\)에 기여하지 않는다. 따라서 2차 형식 \(\mathbf{x}^\top A\mathbf{x}\)를 다룰 때는 \(A\)를 대칭으로 가정해도 일반성을 잃지 않는다.
머신러닝에 등장하는 대칭 행렬
| 행렬 | 정의 | 대칭인 이유 | 쓰임 |
|---|---|---|---|
| 공분산 행렬 | \(\Sigma_{ij} = \text{Cov}(x_i, x_j)\) | 공분산은 순서와 무관 | PCA, 정규 분포 |
| 헤시안 | \(H_{ij} = \partial^2 f / \partial x_i \partial x_j\) | 2차 미분이 연속이면 순서와 무관 | 뉴턴 방법, 곡률 |
| 커널 행렬 | \(K_{ij} = K(\mathbf{x}_i, \mathbf{x}_j)\) | 커널이 대칭 | SVM, GP |
| 그래프 라플라시안 | \(L = D - W\) | 무향 그래프의 \(W\)가 대칭 | 스펙트럴 클러스터링 |
관련 개념
- 스펙트럴 정리 증명: Linear Algebra 8에서 다룬다.
- 양의 정부호: 고유값이 모두 양수인 대칭 행렬이다. Q-113에서 다룬다.
- 고유값 분해: 일반 행렬의 경우는 Q-116과 Linear Algebra 7을 참고한다.
- PCA: 공분산 행렬의 직교 대각화를 활용한다. Q-43을 참고한다.
꼬리 질문
Q. 대칭 행렬은 항상 역행렬이 있나요? 아닙니다. 고유값에 0이 있으면 역행렬이 없습니다. 예를 들어 모든 성분이 1인 행렬은 대칭이지만 특이 행렬입니다.
Q. 두 대칭 행렬의 곱도 대칭인가요? 일반적으로 아닙니다. \((AB)^\top = BA\)이므로 \(A\)와 \(B\)가 교환 가능할 때만 대칭입니다.
Q. 복소수 행렬에서는 어떻게 되나요? 켤레 전치에 대해 같은 \(A = A^{\mathsf{H}}\)인 에르미트 행렬이 대칭 행렬의 역할을 합니다. 고유값은 실수이고 고유벡터는 유니터리로 대각화됩니다.