3 Inseok Kong Schedule

Q-110. Basis와 Dimension이란 무엇인가?

기저는 공간을 생성하는 선형 독립인 벡터 집합이고, 차원은 어떤 기저를 고르든 같은 그 벡터의 개수이다.

면접 답변

기저(basis)는 어떤 공간의 모든 벡터를 만들 수 있으면서 서로 선형 독립인 벡터 집합이고, 차원(dimension)은 그 기저에 들어 있는 벡터의 개수입니다. 독립 조건 덕분에 중복이 없어서, 공간의 각 벡터를 기저의 결합으로 나타내는 방법이 정확히 하나로 정해집니다. 기저 자체는 여러 가지이지만 벡터의 개수는 항상 같아서, 차원은 공간 고유의 값입니다. 예를 들어 평면에서는 (1, 0), (0, 1)도 기저이고 (1, 1), (1, -1)도 기저이며, 어느 쪽이든 벡터가 두 개이므로 차원은 2입니다. 머신러닝에서 PCA는 데이터를 잘 설명하는 새 기저를 찾고, 그중 일부만 남겨 차원을 줄이는 방법으로 볼 수 있습니다.

자세한 설명

정의

벡터 집합 \(\{\mathbf{b}_1, \dots, \mathbf{b}_k\}\)가 공간 \(V\)의 기저가 되려면 다음 두 조건을 만족해야 한다.

  1. 생성(span): \(V\)의 모든 벡터가 \(\mathbf{b}_j\)의 선형 결합이다.
  2. 선형 독립: 중복된 벡터가 없다.

\(V\)의 차원 \(\dim V\)는 기저의 벡터 수 \(k\)이다. 벡터가 너무 적으면 공간을 생성하지 못하고, 너무 많으면 종속이 되므로 기저의 크기는 정확히 하나로 정해진다.

좌표

기저가 정해지면 벡터 \(\mathbf{v}\)는 다음과 같이 유일한 계수 \(c_1, \dots, c_k\)로 표현되며, 이 계수가 좌표이다.

\[\mathbf{v} = c_1\mathbf{b}_1 + \dots + c_k\mathbf{b}_k\]

수치 예제. \(\mathbf{v} = (3, 1)\)은 표준 기저에서 좌표가 \((3, 1)\)이다. 기저 \(\mathbf{b}_1 = (1, 1)\), \(\mathbf{b}_2 = (1, -1)\)에서는 \(2\mathbf{b}_1 + 1\mathbf{b}_2 = (3, 1)\)이므로 좌표가 \((2, 1)\)이다. 벡터는 같고 설명하는 방식만 달라진다.

직교 정규 기저에서는 좌표를 내적 \(c_j = \mathbf{b}_j^\top\mathbf{v}\)로 바로 구할 수 있어 편리하다.

예시

공간 기저의 예 차원
\(\mathbb{R}^3\) 표준 기저 3
\(\mathbb{R}^3\)의 평면 \(x + y + z = 0\) \((1, -1, 0)\), \((0, 1, -1)\) 2
\(2 \times 2\) 행렬 전체 한 성분만 1인 행렬 4개 4
차수 2 이하의 다항식 \(1, x, x^2\) 3

두 번째 예처럼, 3차원 벡터로 적더라도 놓인 공간은 2차원일 수 있다. 성분의 개수와 공간의 차원은 다른 개념이다.

머신러닝에서의 의미

  • 기저를 바꾸면 문제가 쉬워진다. PCA는 분산이 큰 순서로 정렬된 직교 기저를, 고유 분해는 행렬이 대각이 되는 기저를 찾는다.
  • 특징 표현은 기저 선택이다. 다항 회귀의 \(1, x, x^2, \dots\)는 함수 공간의 기저이고, 푸리에 변환은 사인과 코사인을 기저로 쓴다.
  • 데이터의 차원과 특징 수는 다를 수 있다. 특징이 100개라도 데이터가 10차원 부분 공간 근처에 놓일 수 있다. 다만 비선형 곡면(매니폴드)에 놓인 경우에는 선형 기저만으로 충분하지 않다.

관련 개념

  • 자세한 유도: 기저의 크기가 같은 이유 등은 Linear Algebra 3에서 다룬다.
  • 랭크: 열 공간의 차원이다. Q-114를 참고한다.
  • PCA: 데이터에 맞춘 직교 기저를 찾는다. Q-43을 참고한다.
  • 영공간: 그 차원과 랭크의 합이 열의 수이다. Q-111을 참고한다.

꼬리 질문

Q. 왜 좌표가 유일한가요? 두 표현의 차이를 구하면 기저 벡터의 결합이 영벡터가 됩니다. 기저는 독립이므로 그 계수가 모두 0이어서 두 표현이 같습니다.

Q. \(\{\mathbf{0}\}\)의 차원은 얼마인가요? 0입니다. 기저는 공집합입니다. 영벡터는 포함되는 순간 종속이 되므로 기저에 들어갈 수 없습니다.

Q. 기저를 바꾸는 연산은 어떻게 표현하나요? 새 기저를 열로 쌓은 행렬 \(B\)에 대해 \(\mathbf{v} = B\mathbf{c}\)이므로 \(\mathbf{c} = B^{-1}\mathbf{v}\)입니다. 직교 정규 기저에서는 \(B^{-1} = B^\top\)입니다.