[인공지능을 위한 선형대수] 2. 선형시스템 및 선형변환 - 선형결합

선형결합

선형 결합 : p개의 vector들을 상수배를 해서 다 더해주는 형태

다음과 같은 두 vector가 있을 때 p=2, n=3 (3차원) 이다.

선형 결합에 의해 나오는 벡터는 여전히 3차원 벡터이다. 

 

선형 결합의 가중치는 일반적으로 실수만을 다룬다 (0포함)

 

vector를 이용해 계산할 수 있다

Ax = b   ->    a,x, + a2x2 + a3x3 = b

 

형태만 바꾼 것 : 벡터 방정식

 

span : 재료벡터들을 가지고 만들 수 있는 가능한 모든 선형결합의 벡터들의 집합

 

span이 기하학적으로 어떤 의미를 가지는가?

2개 벡터의 선형결합의 결과로 평면이 된다!!

3개 벡터의 선형결합의 결과를 모으면 전체공간이 된다

 

가중치를 조절해 주어진 벡터가 되도록 한다

target 벡터가 3개의 벡터에 의해 만들어지는 span에 포함이 되어 있으면 3개 벡터의 선형 결합으로 표현할 수 있다

 

미지수의 개수 : 세로 벡터들의 개수

방정식의 개수 : 전체 집합의 차원

 

방정식이 많다 -> dimension이 큰 공간이다

주어진 벡터가 적으면 span은 주어진 차원에 비해 작은 공간이다.

b가 랜덤하게 찍혔을 때 주어진 벡터가 적으면 span안에 없을 확률이 크다

 

해는 b가 span위에 있을 때 존재한다!

 

행렬의 곱을 이해하는 시각 - 1. 선형결합으로 생각

따로따로가 아니라 한방에 생각할 수 있도록 한다

 

3개 column 벡터에 가중치가 1, 2, 3이라고 이해한다

 

가중치가 multi column 형태이면

첫번째 column 벡터는 y를 만드는데 영향을 주지 않는다

 

x와 y의 재료들은 같지만 coefficient(가중치)만 다르다

결국 3개 벡터의 span안에 포함된다

 

행렬의 곱을 이해하는 시각 - 2. row combination으로 생각

x^T A^T 형태

이제는 재료가 오른쪽에 있다. 행 벡터가 재료의 역할을 한다

row 벡터들의 선형결합으로 볼 수 있다

 

행렬의 곱을 이해하는 시각 - 3. 외적

a 옆에 c를 추가하고 b 아래 d를 추가하면 ab + cd가 된다

 

행렬을 분해해 각각 계산하고 나중에 더한다

 

많은 머신러닝 분야에서 쓰인다 - word2vec, principal component analysis, SVD

주어진 행렬을 분해하고 싶을때 많이 쓰인다

 

커다란 matrix를 분해

5000개 -> 1500개 (10개만 이용한다면)

이니까 근사적으로 나타낼 수 밖에 없다

(matrix를 행렬의 곱으로 분해)

 

공분산 matrix, style transfer도 rank-1 outer product를 사용한다