[인공지능을 위한 선형대수] 3. Least Square - Least Squares와 그 기하학적 의미

Least Squares와 그 기하학적 의미

Ax 가 정확하게 b가 되지 못하는 경우는 

A의 column들에 의해 span 되는 space에 b가 포함되지 않은 경우이다. 

b가 최대한 가까워지도록 하는 x를 찾아야 한다. 

 

A의 column이 2개라고 했을 때 두 벡터에 의해 나타내지는 span이 초록색 평면이다. 평면에서 b와 가까워질 수 있는 점을 b hat이라고 하자. b와 b hat이 가장 가까워지려면 평면의 모든 선분에 대해서 수직이 되어야 한다. 그것을 만족하는 x hat을 찾는다. 

basis 벡터들과 수직이면 b -b hat은 항상 수직이다. 

 

내적으로 바꿔 0이 되면 된다. 

 

식을 오른쪽으로 옮기면 다음과 같은 equation을 얻을 수 있다

Normal Equation : A^Tb = A^TAxhat