행렬, 선형방정식과 선형시스템

스칼라, 벡터, 행렬

정의

• 스칼라 : 하나의 수치만으로 표현되는 숫자
• 벡터 : 순서가 정해진 숫자들의 집합(순서가 없다면 Set). 열 벡터와 행 벡터로 나뉜다.
• 행렬 : 2차원 벡터

열 벡터(Column Vector)와 행 벡터(Row Vector)

한 개의 열을 갖는 n x 1 크기의 벡터를 열 벡터, 한 개의 행을 갖는 1 x n 크기의 벡터를 행 벡터라고 한다.

 

행 벡터는 보통 열 벡터의 전치(transpose)로 나타낸다.

열 벡터와 행 벡터

 

행렬 표기

• Square matrix : n x n 크기를 갖는 정방형의 행렬을 square matrix라고 한다.
• Rectangular matrix : n x m(n != m) 크기를 갖는 직사각형 모양의 행렬을 rectangular matrix라고 한다.
• 행렬의 전치 : 행렬의 윗첨자로 T로 표기하며 행렬의 주 대각선을 기준으로 행과 열을 뒤바꾸는 연산을 전치라고 한다.

행렬의 연산

행렬 덧셈(C = A + B)

A 행렬과 B 행렬의 크기가 같을 때 수행할 수 있으며, 각 자리에 있는 요소들끼리 더하는 연산이다.

 

행렬의 스칼라곱(cA, cB, c는 상수)

스칼라값과 행렬을 곱하는 연산으로, 행렬의 각 자리에 스칼라값을 곱하는 연산이다.

 

행렬곱(C = AB)

크기가 (i, k)인 행렬 A, 크기가 (k, j)인 행렬 B를 행렬곱하는 과정은 다음과 같다.

 

(1, 1)부터 (i, j)까지 AB(x, y)의 자리에 A의 x번째 행 [a1, a2, a3, ..., ak] 와 B의 y번째 행 [b1, b2, b3, ..., bk]의 값을 하나씩 곱해서 모두 더한 값을 구하면 행렬곱의 결과를 얻을 수 있다.

행렬곱 예시

결과로 나온 행렬곱은 (i, j)의 크기를 갖는다. 또한, 행렬곱 연산은 교환법칙이 성사하지 않는다.(not commutative)

 

행렬 연산의 교환법칙, 결합법칙

• 행렬곱의 분배법칙(distributive)

$$A(B + C) = AB + AC$$

• 행렬곱의 결합법칙(associative)

$$A(BC) = (AB)C$$

• 전치의 분배법칙

$$(AB)^{T} = B^{T}A^{T}$$

• 역행렬의 분배법칙

$$(AB)^{-1} = B^{-1}A^{-1}$$

 

선형시스템과 선형방정식

선형방정식

계수 $a_{i}$와 $b$가 모두 알려진 실수 혹은 복소수이고, 아래와 같이 표현할 수 있는 방정식을 선형방정식이라고 한다.

$$a_{1}x_{1}+a_{2}x_{2}+...+a_{n}x_{n}=b$$

그리고 위의 식은 다음과 같이 행렬곱으로 표현할 수 있다.

$$\mathbf{a}^{T}\mathbf{x}=b$$

 

선형시스템은 한개 또는 그 이상의 선형방정식으로 이루어진 시스템이다.

항등행렬(Identity Matrix)

항등 행렬이란 대각선의 요소가 모두 1이고 나머지는 모두 0인 정방행렬(square matrxi)이다. 

어떤 행렬 x와 항등 행렬 I를 곱햇을 때, 행렬 x가 그대로 보존된다.

$$I_{n}\mathbf{x} = \mathbf{x}$$

 

역행렬(Inverse Matrix)

어떤 정방행렬 A에 대해서, 다음과 같은 관계를 만족하는 행렬을 A의 역행렬($A^{-1}$)이라고 한다.

$$A^{-1}A=AA^{-1}=I_{n}$$

2 x 2 행렬에 대해서, $A=$$\begin{pmatrix}a & b \\c & d \\\end{pmatrix}$ 이 행렬의 역행렬 $A^{-1}$은 다음과 같이 정의된다.

$$A^{-1}=\frac{1}{ad-bc}\begin{bmatrix} d & -b \\ -c & a \\ \end{bmatrix}$$

역행렬의 판별

어떤 행렬 A가 역행렬을 갖는다면 이 성질을 invertible이라고 한다.

 

위 식에서 분모에 있는 값 $ad-bc$를 A의 determinant라고 하며, $detA$로 표기한다. 만약 어떤 행렬 A의 determinant값이 0이라면 그 행렬은 역행렬을 갖지 않는다.

 

선형시스템 예시(역행렬을 사용한 선형방정식 풀이)

위와 같은 세개의 선형방정식에서 계수들을 모아 행렬 A를 만들 수 있다.

이와 같이 x값들의 벡터, 상수들의 벡터 b도 만들 수 있다.

이렇게 변환된 행렬들로 여러 개의 선형방정식을 하나의 행렬식으로 표현할 수 있다.

 

위에서 설명했듯이, 어떤 행렬 A와 역행렬 $A^{-1}$의 행렬곱은 항등행렬 $I_{n}$이 되는 성질과 행렬 A와 항등행렬 $I_{n}$의 행렬곱의 결과는 A로 유지된다는 성질을 이용해 행렬방정식의 해를 구할 수 있다.

$$Ax=b$$

$$A^{-1}Ax=A^{-1}b$$

$$I^{n}x=A^{-1}b$$

$$x=A^{-1}b$$

 

해가 없거나 여러개인 선형시스템

행렬식 $Ax=b$에서 A가 역행렬을 갖지 않는다면(non-invertible), x는 해가 존재하지 않거나 무한개의 해를 갖는다.

 

예를 들어, 위 행렬시스템에서 미지수는 3개(몸무게, 키, 흡연여부)이고, 주어진 행렬방정식 또한 3개이다.

 

만약 미지수의 숫자와 행렬방정식의 갯수가 다르다면 어떻게 될까?

 

• 미지수 > 행렬방정식 갯수

보통 무한개의 해가 존재하며, under-determined system이라고 한다.

 

• 미지수 < 행렬방정식 갯수

보통 해가 존재하지 않으며, over-determined system이라고 한다(least square와 연결된다).