선형 결합, 선형 독립, 기저와 차원

선형 결합(Linear Combination)

선형 결합이란?

벡터 $v_{1}, v_{2}, v_{3}, \dots, v_{p}$와 스칼라 $c_{1}, c_{2}, c_{3}, \dots, c_{p}$가 주어졌을 때,  $c_{1} v_{1} + c_{2} v_{2} + \dots + c_{p} v_{p}$를 weight 또는 계수 $c_{1}, c_{2}, \dots, c_{p}$를 갖는 $v_{1}, v_{2}, \dots, v_{p}$의 선형 결합이라고 부른다.  

$c$는 0을 포함한 실수.

 

 

Span

어떤 벡터 $v_{1}, \dots, v_{p} \in \mathbb{R}^{n}$가 주어졌을 때, Span $\{v_{1}, \dots, v_{p}\}$는 $v_{1}, \dots, v_{p}$의 모든 선형 결합으로 정의된다.  

즉, Span $\{v_{1}, \dots, v_{p}\}$는 임의의 $c_{1}, \dots, c_{p}$에 대해 아래와 같은 꼴로 작성될 수 있는 모든 벡터들의 집합이다.  

$$c_{1} v_{1} + c_{2} v_{2} + \dots + c_{p} v_{p}$$

 

 

Span의 기하학적 의미

어떤 평면에서 0이 아닌 벡터 v1을 생각해보자. v1에 임의의 실수 c를 곱하여 선형 결합을 한 모든 결과를 모아놓은 Span은 곧 v1을 포함한 직선이 될 것이다.

 

이번엔 3차원 공간R3에서 v1과 v2가 0이 아닌 벡터이고, v2가 v1의 스칼라배가 아닐 때(선형 독립일 때)를 생각해 보자. v1과 v2의 선형 결합을 모두 모아놓은 Span {v1,v2}는 R3에서의 한 평면을 나타낸다.

 

 

선형 결합을 통한 행렬곱의 변환

위 식에서 행렬곱 $Ax$는 $A = [a_{1}, a_{2}, a_{3}]$로 표현한 후, 열 벡터 $a_{1}, a_{2}, a_{3}$와 계수 $x_{1}, x_{2}, x_{3}$의 선형 결합으로 표현할 수 있다.  

$$Ax = x_{1} a_{1} + x_{2} a_{2} + x_{3} a_{3}$$

 

• 열 결합을 통한 행렬곱 연산

오른쪽 행렬의 각 행 : 계수

왼쪽 행렬의 각 열 : 벡터

 

두 개의 선형 결합으로 아래와 같이 행렬곱을 표현할 수 있다.

\[
\begin{bmatrix} 
1 & 1 & 0 \\ 
1 & 0 & 1 \\ 
1 & -1 & 1 
\end{bmatrix} 
\begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix} 
=
\begin{bmatrix} 1 \\ 1 \\ 1 \end{bmatrix} 1
+ 
\begin{bmatrix} 1 \\ 0 \\ -1 \end{bmatrix} 2
+ 
\begin{bmatrix} 0 \\ 1 \\ 1 \end{bmatrix} 3
\]

만약 오른쪽 행렬의 여러개의 열을 갖는 경우에도 똑같이 선형 결합으로 표현할 수 있다.

\[
\begin{bmatrix} 
1 & 1 & 0 \\ 
1 & 0 & 1 \\ 
1 & -1 & 1 
\end{bmatrix} 
\begin{bmatrix} 
1 & -1 \\ 
2 & 0 \\ 
3 & 1 
\end{bmatrix} 
=
\begin{bmatrix} 
x_{1} & y_{1} \\ 
x_{2} & y_{2} \\ 
x_{3} & y_{3} 
\end{bmatrix} 
= [x \ y]
\]\[
x =
\begin{bmatrix} x_{1} \\ x_{2} \\ x_{3} \end{bmatrix} 
=
\begin{bmatrix} 1 \\ 1 \\ 1 \end{bmatrix} 1 
+ 
\begin{bmatrix} 1 \\ 0 \\ -1 \end{bmatrix} 2 
+ 
\begin{bmatrix} 0 \\ 1 \\ 1 \end{bmatrix} 3
\]\[
y =
\begin{bmatrix} y_{1} \\ y_{2} \\ y_{3} \end{bmatrix} 
=
\begin{bmatrix} 1 \\ 1 \\ (-1) \end{bmatrix} 
+ 
\begin{bmatrix} 1 \\ 0 \\ 0 \end{bmatrix} 0 
+ 
\begin{bmatrix} 0 \\ 1 \\ 1 \end{bmatrix} 1
\]

 

• 행 결합을 통한 행렬곱 연산

왼쪽 행렬의 각 열 : 계수

오른쪽 행렬의 각 행 : 벡터

 

두 개의 선형 결합으로 행렬곱을 표현할 수 있다.

\[
\begin{bmatrix} 1 & 2 & 3 \end{bmatrix} 
\begin{bmatrix} 
1 & 1 & 0 \\ 
1 & 0 & 1 \\ 
1 & -1 & 1 
\end{bmatrix} 
=
1 \times \begin{bmatrix} 1 & 1 & 0 \end{bmatrix} 
+ 2 \times \begin{bmatrix} 1 & 0 & 1 \end{bmatrix} 
+ 3 \times \begin{bmatrix} 1 & -1 & 1 \end{bmatrix}
\]

왼쪽 행렬이 여러개의 행을 갖는 경우에도 똑같이 선형 결합으로 표현할 수 있다.

\[
\begin{bmatrix} 
1 & 2 & 3 \\ 
1 & 0 & -1 
\end{bmatrix} 
\begin{bmatrix} 
1 & 1 & 0 \\ 
1 & 0 & 1 \\ 
1 & -1 & 1 
\end{bmatrix} 
=
\begin{bmatrix} 
x_{1} & x_{2} & x_{3} \\ 
y_{1} & y_{2} & y_{3} 
\end{bmatrix} 
= 
\begin{bmatrix} x^{T} \\ y^{T} \end{bmatrix}
\] \[
x^{T} = \begin{bmatrix} x_{1} & x_{2} & x_{3} \end{bmatrix} 
= 1 \begin{bmatrix} 1 & 1 & 0 \end{bmatrix} 
+ 2 \begin{bmatrix} 1 & 0 & 1 \end{bmatrix} 
+ 3 \begin{bmatrix} 1 & -1 & 1 \end{bmatrix}
\] \[
y^{T} = \begin{bmatrix} y_{1} & y_{2} & y_{3} \end{bmatrix} 
= 1 \begin{bmatrix} 1 & 1 & 0 \end{bmatrix} 
+ 0 \begin{bmatrix} 1 & 0 & 1 \end{bmatrix} 
+ (-1) \begin{bmatrix} 1 & -1 & 1 \end{bmatrix}
\]

 

• Rank-1 벡터의 외적 결합을 통한 행렬곱 연산

행렬곱셈을 아래와 같이 여러개의 Rank-1 외적의 합으로 표현할 수 있다.
\[
\begin{bmatrix} 
1 & 1 \\ 
1 & -1 \\ 
1 & 1 
\end{bmatrix} 
\begin{bmatrix} 
1 & 2 & 3 \\ 
4 & 5 & 6 
\end{bmatrix} 
=
\begin{bmatrix} 1 \\ 1 \\ 1 \end{bmatrix} 
\begin{bmatrix} 1 & 2 & 3 \end{bmatrix} 
+ 
\begin{bmatrix} 1 \\ -1 \\ 1 \end{bmatrix} 
\begin{bmatrix} 4 & 5 & 6 \end{bmatrix}
\]\[
=
\begin{bmatrix} 
1 & 2 & 3 \\ 
1 & 2 & 3 \\ 
1 & 2 & 3 
\end{bmatrix} 
+ 
\begin{bmatrix} 
4 & 5 & 6 \\ 
-4 & -5 & -6 \\ 
4 & 5 & 6 
\end{bmatrix}
\]

 

• Rank-1 행렬이란?

Rank(행렬의 선형 독립인 행 또는 열 벡터의 최대 개수)가 1인 행렬을 의미한다.

예를 들어, 다음 행렬을 보자.

\[
A =
\begin{bmatrix} 
1 & 2 & 3 \\ 
2 & 4 & 6 \\ 
3 & 6 & 9 
\end{bmatrix}
\]

이 행렬은 각 행이 첫 번째 행의 배수로 이루어져 있다.

 

즉, 세 개의 행 중 독립적인 행은 하나뿐이므로 Rank = 1이고, 이런 행렬을 Rank-1 행렬이라고 한다.

 

Rank-1 행렬은 두 개의 열 벡터와 행 벡터의 외적으로 만들 수 있다.

 

 

선형 독립(Linear Independence)

선형 독립은 벡터들이 서로 중복된 정보를 갖지 않고, 하나의 벡터가 다른 벡터들의 조합으로 표현될 수 없는 성질을 의미한다.

 

선형 독립의 실용적 정의와 수학적 정의

실용적 정의(Practical definition)

벡터 $v_{1}, \dots, v_{p} \in \mathbb{R}^{n}$이 주어졌을 때, $v_{j}$가 이전에 주어진 벡터들의 선형 결합으로 표현될 수 있다면 $\{ v_{1}, \dots, v_{p} \}$는 선형 종속이다.

즉, $v_{j} \in \{ v_{1}, v_{2}, \dots, v_{j-1} \}$, 즉 $v_{j}$가 이전 벡터들의 $\text{span}$에 포함된다면 선형 종속이고, 포함되지 않는다면 선형 독립으로 볼 수 있다.

 

예를 들어보면, $v_{1}, v_{2}$ 이 두 벡터의 span(즉, 이 두 벡터의 선형 결합으로 만들 수 있는 모든 벡터들)은 한 평면 (plane)을 형성한다. 만약 벡터 $v_{3}$가 그 평면 위에 존재한다면 (span에 포함된다면), 이는 곧 $v_{3}$가 $v_{1}, v_{2}$의 선형 결합으로 표현될 수 있다는 뜻이며, $v_{1}, v_{2}, v_{3}$는 선형 종속(linear dependent)의 관계를 갖는다는 의미이다.

 

 

수학적 정의(Formal definition)

$x_{1} v_{1} + x_{2} v_{2} + \dots + x_{p} v_{p} = 0$인 homogeneous equation은 반드시 자명한 해 ($\mathbf{x}$가 0벡터인 경우)를 갖는다.

\[
\mathbf{x} =
\begin{bmatrix} 
x_{1} \\ 
x_{2} \\ 
\vdots \\ 
x_{p} 
\end{bmatrix} 
=
\begin{bmatrix} 
0 \\ 
0 \\ 
\vdots \\ 
0 
\end{bmatrix}
\]

이 방정식에서 유일한 해가 자명한 해 (0벡터)인 경우에는 $v_{1}, \dots, v_{p}$는 선형 독립이다.
그렇지 않고 적어도 하나 이상의 0이 아닌 해를 갖는다면 $v_{1}, \dots, v_{p}$는 선형 종속이다.

 

 

실용적 정의 = 수학적 정의

벡터 $c_{1} v_{1} + c_{2} v_{2} + c_{3} v_{3} + c_{4} v_{4} = 0$이 0벡터가 아닌 해를 갖는다고 가정해보자.

벡터를 하나씩 생각해 볼 때, 위 식은 원점에서 $c_{1} v_{1}$만큼 이동하고, 다시 $c_{2} v_{2} + c_{3} v_{3} + c_{4} v_{4}$만큼 이동했을 때 다시 원점으로 돌아올 수 있어야 한다는 뜻이다.

즉, 0벡터가 아닌 해를 갖기 위해서는 $c_{1} v_{1} = -(c_{2} v_{2} + c_{3} v_{3} + c_{4} v_{4})$가 성립해야 하고, $v_{1}$이 다른 $v_{2}, v_{3}, v_{4}$의 선형 결합으로 표현되기 때문에 선형 종속인 것을 알 수 있다.

결국

수학적 정의인 0벡터가 아닌 해를 갖는다.  
$\Longleftrightarrow$ 어떤 벡터 $v_{j}$가 다른 벡터들의 선형 결합으로 표현될 수 있다.  
$\Longleftrightarrow$ 선형 종속이다.

로 두 정의가 본질적으로 같은 것을 알 수 있다.

 

 

선형시스템의 해의 존재와 유일성(Uniqueness)

선형 시스템 $Ax = b$의 해가 존재하려면, $b$가 $a_{1}, \dots, a_{p}$의 $\text{span}$ 안에 있어야 한다.  
즉, $b$가 벡터 $a_{1}, \dots, a_{p}$의 선형 결합으로 표현될 수 있어야만 해가 존재한다.
$$Ax = b$$
$$a_{1} x_{1} + \dots + a_{p} x_{p} = b$$
어떤 해가 존재할 때, 그 해의 유일성을 따지려면 벡터 $a_{1}, \dots, a_{p}$의 선형 종속을 따지면 된다.

만약 $a_{1}, \dots, a_{p}$가 선형 독립이면 $Ax = b$의 해는 유일하다.  
만약 $a_{1}, \dots, a_{p}$가 선형 종속이라면 $Ax = b$의 해는 무수히 많아진다.

 

 

부분공간, 기저, 차원

부분공간(Subspace)

어떤 벡터 집합 $S$가 부분공간이 되려면 다음을 만족해야 한다.

1. 0벡터가 포함되어야 한다.
   $$\mathbf{0} \in S$$
2. 선형 결합에 닫혀 있어야 한다.
   임의의 두 벡터 $u_{1}, u_{2} \in S$, 임의의 두 스칼라 $c, d$에 대해서  
   $$c u_{1} + d u_{2} \in S$$

 

 

어딘가 span과 유사한 점이 많아 보인다. span에 대한 정의를 다시 알아보자.

 

어떤 벡터 집합 $S = \{ v_{1}, v_{2}, \dots, v_{p} \}$에서 span은 다음과 같이 정의된다.
$$\text{Span}(S) = \{ c_{1} v_{1} + c_{2} v_{2} + \dots + c_{p} v_{p} \mid c_{1}, c_{2}, \dots, c_{p} \in \mathbb{R} \}$$

즉, span은 주어진 벡터들의 모든 선형 결합으로 이루어진 집합이다.

 

위 정의에 따라 모든 부분공간은 특정 벡터들의 span으로 표현될 수 있다.

 

 

기저(Basis)

정의

기저(Basis)란 부분공간을 생성하는 벡터들 중에서 최소한의 선형 독립인 벡터들을 의미한다.

 

기저의 조건

1. 벡터들이 선형 독립이어야 한다.

2. 벡터들이 주어진 부분공간을 완전히 Span해야 한다.

 

예를 들어, 아래 두 벡터는 선형 독립이면서 2차원 공간 전체를 span하므로 한 plane의 기저가 된다.

\[
\mathbf{e}_{1} =
\begin{bmatrix} 1 \\ 0 \end{bmatrix}, \quad
\mathbf{e}_{2} =
\begin{bmatrix} 0 \\ 1 \end{bmatrix}
\]

 

어떤 부분공간을 표현하는 기저의 종류는 무수히 많다.

 

 

차원과 랭크

차원(Dimension)

어떤 부분공간을 표현하는 기저의 종류는 무수히 많고 말했다. 하지만, 부분공간을 표현하는 기저의 개수는 유일하다.

 

이때, 부분공간을 표현하는 기저의 개수를 차원이라고 부르며, $dimH$라고 표현한다.

 

예를 들어 아래 두 기저를 갖는 plane의 차원은 2이다.

\[
\mathbf{e}_{1} =
\begin{bmatrix} 1 \\ 0 \end{bmatrix}, \quad
\mathbf{e}_{2} =
\begin{bmatrix} 0 \\ 1 \end{bmatrix}
\]

 

 

랭크(Rank)

랭크란 행렬의 선형 독립인 열 또는 행 벡터의 개수를 의미한다. 즉, 행렬이 가지고 있는 독립적인(유의미한) 정보의 개수라고 생각할 수 있다.

 

예를 들어 아래 행렬 A의 두 열 벡터는 선형 독립이므로, 랭크는 2이다.

\[
A =
\begin{bmatrix} 
1 & 2 \\ 
3 & 4 
\end{bmatrix}
\]

아래 행렬 A의 경우 세 열 벡터가 선형 종속이므로, 랭크는 1이다.

\[
A =
\begin{bmatrix} 
1 & 2 & 3 \\ 
2 & 4 & 6 \\ 
3 & 6 & 9 
\end{bmatrix}
\]