- 질문 출처: Science Vibe, 머신러닝 면접 질문 모음
면접 답변
랭크(rank)는 행렬에서 선형 독립인 열의 최대 개수이고, 행렬이 만들어 낼 수 있는 출력 공간의 차원입니다. 신기하게도 독립인 행의 최대 개수와 항상 같으므로, 랭크는 행렬에 실제로 담긴 독립적인 정보의 양으로 볼 수 있습니다. 예를 들어 (1, 2, 3), (2, 4, 6), (1, 0, 1)을 행으로 갖는 행렬은 둘째 행이 첫째 행의 2배이므로 랭크가 2입니다. 실제 계산에서는 노이즈 때문에 값이 정확히 0이 되지 않으므로, 특이값을 구해 허용 오차보다 큰 값의 개수로 판단합니다. 머신러닝에서는 추천 시스템의 행렬 분해처럼, 큰 데이터 행렬이 낮은 랭크로 근사된다는 가정이 자주 쓰입니다.
자세한 설명
정의와 동치 표현
\(m \times n\) 행렬 \(A\)에 대해 \(\text{rank}(A)\)는 다음과 모두 같다.
- 독립인 열의 최대 개수, 즉 열 공간의 차원
- 독립인 행의 최대 개수, 즉 행 공간의 차원
- 0이 아닌 특이값의 개수
- 가우스 소거 후의 피벗 개수
- \(A = BC\)로 분해할 때 \(B\)의 열 개수로 가능한 최솟값
\(\text{rank}(A) = \min(m, n)\)이면 풀 랭크(full rank)이다.
수치 예제
\[A = \begin{bmatrix} 1 & 2 & 3 \\ 2 & 4 & 6 \\ 1 & 0 & 1 \end{bmatrix}\]둘째 행이 첫째 행의 2배이다. 첫째, 셋째 행은 서로 독립이므로 랭크는 2이다. 특이값을 계산하면 8.4354, 0.9183, 0으로 0이 아닌 값이 2개이다. 영공간의 차원은 \(3 - 2 = 1\)이다.
주요 성질
- \(\text{rank}(AB) \le \min(\text{rank}(A), \text{rank}(B))\)이다.
- \(\text{rank}(A + B) \le \text{rank}(A) + \text{rank}(B)\)이다.
- \(\text{rank}(A^\top A) = \text{rank}(A)\)이다.
- 가역 행렬을 곱해도 랭크는 변하지 않는다.
- \(\text{rank}(A) + \dim N(A) = n\)이다.
첫 번째 성질은 선형 신경망에서 병목층이 왜 표현력을 제한하는지 설명한다. 병목층의 폭이 \(r\)이면 입력과 출력 사이의 전체 선형 변환의 랭크는 \(r\) 이하이다.
수치적 랭크
노이즈가 조금만 있어도 행렬은 대개 수학적으로 풀 랭크가 된다. 그래서 실무에서는 특이값이 허용 오차보다 큰 개수를 수치적 랭크로 삼는다. 특이값이 급격히 떨어지는 지점이 있으면 데이터의 유효 랭크를 판단하는 단서가 된다.
낮은 랭크의 활용
랭크 \(r\)인 \(n \times m\) 행렬은 \(A = UV^\top\)(\(U\)는 \(n \times r\), \(V\)는 \(m \times r\))로 쓸 수 있다. 수를 \(r(n + m)\)개만 저장하면 된다. \(1000 \times 1000\) 행렬에서 \(r = 10\)이면 1,000,000개 대신 20,000개면 된다.
- 행렬 완성: 추천 시스템은 사용자의 취향이 소수의 잠재 요인으로 설명된다고 가정하고, 관측되지 않은 평점을 예측한다.
- 압축과 잡음 제거: 작은 특이값을 제거해 랭크가 낮은 근사를 만든다.
- PCA: 중심화한 데이터 행렬의 낮은 랭크 근사로 볼 수 있다.
관련 개념
- 선형 독립과 차원: 랭크 정의의 기반이다. Q-109, Q-110에서 다룬다.
- 행과 열 랭크가 같은 이유: Linear Algebra 3에서 랭크와 행렬 분해로 설명한다.
- SVD: 랭크를 수치적으로 구하고 최적의 저랭크 근사를 준다. Q-119를 참고한다.
- 영공간: 랭크와 차원의 합이 입력 차원이다. Q-111을 참고한다.
꼬리 질문
Q. 왜 행 랭크와 열 랭크는 같은가요? 랭크 \(r\)인 \(A\)를 \(A = BC\)(\(B\)는 열이 \(r\)개, \(C\)는 행이 \(r\)개)로 쓰면 \(A\)의 행은 모두 \(C\)의 행의 선형 결합입니다. 열에서 시작해 얻은 값이 행 랭크의 상한이 되고, 전치에 대해서도 같은 논리를 적용하면 같음이 나옵니다.
Q. 정방행렬이 풀 랭크가 아니면 어떻게 되나요? 역행렬이 없고 행렬식이 0이며, 영공간에 0이 아닌 벡터가 있고 고유값 0을 가집니다.
Q. 고유값으로 랭크를 구할 수 있나요? 대칭 행렬이나 대각화 가능한 행렬에서는 0이 아닌 고유값의 개수(중복 포함)가 랭크입니다. 그러나 일반적으로는 아닙니다. \(\begin{bmatrix} 0 & 1 \\ 0 & 0 \end{bmatrix}\)은 고유값이 모두 0이지만 랭크는 1입니다.