[선형대수] 선형 방정식/선형 시스템/선형 결합/선형독립/선형의존

Linear Equation

$$a_1x_1 + a_2x_2 + ... + a_nx_n = b $$

$$a^Tx = b$$

$$\begin{bmatrix}a_1 & a_2 & \cdots & a_n \\\end{bmatrix} \begin{bmatrix} x_1\\x_2 \\ \vdots  \\x_n \end{bmatrix} = b$$

$$Ax = b$$

위와 같이 선형 방정식을 정의한다.

 

역행렬이 존재하지 않을 때

$$ A = \begin{bmatrix} a & b \\ c& d \end{bmatrix} $$

$$ ab - bc = 0$$

$$det \; A = 0 $$

위 조건을 만족 시 역행렬이 존재하지 않는다. 이때, 해는 없거나 무수히 많은 결과를 얻는다.

 

Span

$$c_1v_2 + c_2v_2 + \cdots + c_pv_p $$

$c_n$은 상수이고, $v_n$은 벡터이다.
span은 $v_1, v_2, \cdots, v_p$의 모든 선형 결합의 집합이다.
수식으로는 ${v_1, v_2, \cdots, v_p}$로 나타낼 수 있다.  

$v_1, v_2$의 span은 위 그림에서 초록 평면을 의미한다.

$$ \begin{bmatrix} 60 \\ 65 \\55 \\\end{bmatrix}x_1 + \begin{bmatrix} 5.5\\ 5.0\\6.0 \end{bmatrix}x_2 + \begin{bmatrix} 1\\ 0\\1\end{bmatrix}x_3 = \begin{bmatrix} 66 \\74\\76\end{bmatrix} $$

$$a_1x_1 + a_2x_2 + a_3x_3 = b$$

이 선형 방정식에서 $ b \in \textrm{Span} \; {a_1, a_2, a_3}$ 일때만, 해가 존재한다.
이 뜻은 b가 초록 평면 위에 존재해야한다는 의미이다. 

** 2개의 3차원 벡터의 span은 3차원 공간 상의 하나의 평면을 나타낸다. 
3개의 3차원 벡터는 3차원 공간 전체를 나타낸다. 

** 그렇다면 3개의 4차원 벡터의 span은 모든 4차원을 나타내지 않고 4차원의 일부만 나타낼 것이다. 
마치 2개의 3차원 벡터의 span이 3차원 공간 상의 하나의 평면을 나타내는 것처럼.

 

Linear Independence (선형 독립)

span에 b가 속할 시 해가 존재한다. 그렇다면 해가 여러개? 하나?

하나일 경우 --> Linear Independence
여러 개일 경우 --> Linear Dependence

선형 독립을 수식으로 표현하면, 아래와 같다.

$$v_j \in \textrm{Span} \; {v_1, v_2, \cdots, v_{j-1}} $$

이전의 벡터들의 span 에 현재(j) 벡터가 해당되지 않으면 선형 독립이다. 

**그렇다면, 3차원 벡터 4개는 선형독립일까, 선형의존일까?
--> 선형 의존이다. 3차원 벡터 3개로 span은 3차원 공간 전체가 되기 때문에, 3개 벡터의 span에 하나의 벡터가 겹칠 수 밖에 없다. 이는 해가 무수히 많이 존재한다.

formal definition으로 정의하면, 

$$ x_1v_1 + x_2v_2 + \cdots + x_pv_p = \bf{0}$$

위의 수식의 해는 $ x = \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_p \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \\ \vdots \\ 0 \end{bmatrix}$ 이고, 이를 trivial solution이라고 부른다. 

여기서, 해가 trivial solution 하나라면, 선형 독립이고, 
해가 trivial solution 이외에 0이 아닌 해가 있다면, 선형 의존이다.

다음과 같은 0이 아닌 해가 존재한다면(선형 의존일 때), 

$$3v_1 - v_2 + 0v_3 + 2v_4+ 0v_5 = 0$$

$$ 2v_4 = -3v_1 + v_2 $$ 

$$ v_4 = -\frac{3}{2}v_1 + \frac{1}{2} v_2$$

$v_4$는 $v_1$, $v_2$의 선형 결과으로 표현이 가능하다는 뜻으로, 선형 의존이라고 말할 수 있다. 

 

Subspace

$u_1, u_2 \in H$, $cu_1+du_2 \in H$. 
subspace $H$는 $R^n$내에 선형 결합에 대해서 항상 닫혀있는 부분 집합. Span 과 비슷한 개념.

 

Basis

1. subspace H의 fully span
2. 각 Basis 벡터는 선형 독립이어야 한다. 

Basis vector(기저 벡터)는 unique하지 x.

span 공간인 2차원 평면을 표현하는 벡터는 무수히 많기 때문.

 

Dimension

subspace의 basis vector의 개수.

ex) 전체 3차원 set에서 기저 벡터가 2개라면,  2차원 평면.

 

Column space

matrix $A$의 column space는 A의 행들의 spanned subspace이다. 

$$A = \begin{bmatrix} 1&1\\ 1&0 \\ 0&1 \end{bmatrix} $$

$$ \textrm{Col} \; A = \textrm{Span} \; \begin{Bmatrix} \begin{bmatrix} 1\\1\\0 \end{bmatrix}, \begin{bmatrix} 1\\0\\1 \end{bmatrix}\end{Bmatrix} $$

 

Rank

행렬 $A$의 rank는 $A$의 column space의 dimension이다.

$$ \textrm{rank} \; A = \textrm{dim} \; \textrm{Col} \; A$$

 

 

 

 

출처 - https://www.boostcourse.org/ai251/