[인공지능을 위한 선형대수] 2. 선형시스템 및 선형변환 - 부분공간의 기저와 차원

부분공간의 기저와 차원

subspace : span과 거의 유사

 

3차원 전체 집합의 subset(부분집합)으로 {[1, 2, 3], [5, 4, 2]}가 있다고 볼 수 있다. 여기에 선형결합에 닫혀있다는 조건이 추가되면 subspace라고 부른다. 두 벡터를 뽑아서 적절한 선형결합에 의해 만들어진 벡터가 집합에 포함되어있으면 subspace이다.

 

곱셈에 닫혀있는 집합 : 집합 안의 두개를 뽑아 곱했을 때 그 수가 집합에 속해있는 경우 

ex) {2^n : n=1 ... 무한대}

 

결국 subspace는 항상 재료벡터들의 span으로 표현될 수 있다.

 

basis (기저벡터) : 어떤 subspace가 주어져 있을 때 주어진 span을 fully span할 수 있는 벡터를 기저벡터라고 한다. 이 때 벡터들은 선형 독립이어야 한다. (중복x)

즉, 벡터들을 선형결합했을 때 가중치는 하나로 정해진다.

 

기저벡터는 unique하지 않다. 

 

기저벡터가 달라지면 가중치 값이 달라진다. -> change of basis

 

dimension : subspace의 basis(기저벡터)의 갯수

 

column들의 span으로 이루어지는 subspace = column space

 

linearly dependent 한 column이 있는 경우

세번째 벡터가 첫번째 두번째 벡터로 표현되기 때문에 2개를 이용해 span을 만드나 3개를 이용해 span을 만드나 똑같다.

 

rank : column space의 dimension. 기저벡터의 갯수 

 

키가 증가함에 따라 몸무게도 같은 비율로 증가되어 feature 갯수가 많지만 추가로 정보를 주지 않는 경우이다. 

많은 선형 모델에서 이렇게 중복되는 feature는 오히려 방해가 된다 -> overfitting이 일어나기 쉽다