3 Inseok Kong Schedule

Q-114. Rank란 무엇인가?

랭크는 행렬의 선형 독립인 열의 최대 개수로 출력 공간의 차원을 뜻하며, 0이 아닌 특이값의 개수와 같다.

면접 답변

랭크(rank)는 행렬에서 선형 독립인 열의 최대 개수이고, 행렬이 만들어 낼 수 있는 출력 공간의 차원입니다. 신기하게도 독립인 행의 최대 개수와 항상 같으므로, 랭크는 행렬에 실제로 담긴 독립적인 정보의 양으로 볼 수 있습니다. 예를 들어 (1, 2, 3), (2, 4, 6), (1, 0, 1)을 행으로 갖는 행렬은 둘째 행이 첫째 행의 2배이므로 랭크가 2입니다. 실제 계산에서는 노이즈 때문에 값이 정확히 0이 되지 않으므로, 특이값을 구해 허용 오차보다 큰 값의 개수로 판단합니다. 머신러닝에서는 추천 시스템의 행렬 분해처럼, 큰 데이터 행렬이 낮은 랭크로 근사된다는 가정이 자주 쓰입니다.

자세한 설명

정의와 동치 표현

\(m \times n\) 행렬 \(A\)에 대해 \(\text{rank}(A)\)는 다음과 모두 같다.

  • 독립인 열의 최대 개수, 즉 열 공간의 차원
  • 독립인 행의 최대 개수, 즉 행 공간의 차원
  • 0이 아닌 특이값의 개수
  • 가우스 소거 후의 피벗 개수
  • \(A = BC\)로 분해할 때 \(B\)의 열 개수로 가능한 최솟값

\(\text{rank}(A) = \min(m, n)\)이면 풀 랭크(full rank)이다.

수치 예제

\[A = \begin{bmatrix} 1 & 2 & 3 \\ 2 & 4 & 6 \\ 1 & 0 & 1 \end{bmatrix}\]

둘째 행이 첫째 행의 2배이다. 첫째, 셋째 행은 서로 독립이므로 랭크는 2이다. 특이값을 계산하면 8.4354, 0.9183, 0으로 0이 아닌 값이 2개이다. 영공간의 차원은 \(3 - 2 = 1\)이다.

주요 성질

  • \(\text{rank}(AB) \le \min(\text{rank}(A), \text{rank}(B))\)이다.
  • \(\text{rank}(A + B) \le \text{rank}(A) + \text{rank}(B)\)이다.
  • \(\text{rank}(A^\top A) = \text{rank}(A)\)이다.
  • 가역 행렬을 곱해도 랭크는 변하지 않는다.
  • \(\text{rank}(A) + \dim N(A) = n\)이다.

첫 번째 성질은 선형 신경망에서 병목층이 왜 표현력을 제한하는지 설명한다. 병목층의 폭이 \(r\)이면 입력과 출력 사이의 전체 선형 변환의 랭크는 \(r\) 이하이다.

수치적 랭크

노이즈가 조금만 있어도 행렬은 대개 수학적으로 풀 랭크가 된다. 그래서 실무에서는 특이값이 허용 오차보다 큰 개수를 수치적 랭크로 삼는다. 특이값이 급격히 떨어지는 지점이 있으면 데이터의 유효 랭크를 판단하는 단서가 된다.

낮은 랭크의 활용

랭크 \(r\)인 \(n \times m\) 행렬은 \(A = UV^\top\)(\(U\)는 \(n \times r\), \(V\)는 \(m \times r\))로 쓸 수 있다. 수를 \(r(n + m)\)개만 저장하면 된다. \(1000 \times 1000\) 행렬에서 \(r = 10\)이면 1,000,000개 대신 20,000개면 된다.

  • 행렬 완성: 추천 시스템은 사용자의 취향이 소수의 잠재 요인으로 설명된다고 가정하고, 관측되지 않은 평점을 예측한다.
  • 압축과 잡음 제거: 작은 특이값을 제거해 랭크가 낮은 근사를 만든다.
  • PCA: 중심화한 데이터 행렬의 낮은 랭크 근사로 볼 수 있다.

관련 개념

  • 선형 독립과 차원: 랭크 정의의 기반이다. Q-109, Q-110에서 다룬다.
  • 행과 열 랭크가 같은 이유: Linear Algebra 3에서 랭크와 행렬 분해로 설명한다.
  • SVD: 랭크를 수치적으로 구하고 최적의 저랭크 근사를 준다. Q-119를 참고한다.
  • 영공간: 랭크와 차원의 합이 입력 차원이다. Q-111을 참고한다.

꼬리 질문

Q. 왜 행 랭크와 열 랭크는 같은가요? 랭크 \(r\)인 \(A\)를 \(A = BC\)(\(B\)는 열이 \(r\)개, \(C\)는 행이 \(r\)개)로 쓰면 \(A\)의 행은 모두 \(C\)의 행의 선형 결합입니다. 열에서 시작해 얻은 값이 행 랭크의 상한이 되고, 전치에 대해서도 같은 논리를 적용하면 같음이 나옵니다.

Q. 정방행렬이 풀 랭크가 아니면 어떻게 되나요? 역행렬이 없고 행렬식이 0이며, 영공간에 0이 아닌 벡터가 있고 고유값 0을 가집니다.

Q. 고유값으로 랭크를 구할 수 있나요? 대칭 행렬이나 대각화 가능한 행렬에서는 0이 아닌 고유값의 개수(중복 포함)가 랭크입니다. 그러나 일반적으로는 아닙니다. \(\begin{bmatrix} 0 & 1 \\ 0 & 0 \end{bmatrix}\)은 고유값이 모두 0이지만 랭크는 1입니다.