[인공지능을 위한 선형대수] 2. 선형시스템 및 선형변환 - 선형방정식과 선형시스템

선형방정식과 선형시스템

변수들에 계수가 붙어있고 그 합이 상수값과 같은 형태

좌변을 a^T * x로 간단하게 나타낼 수 있다

 

소문자 -> 스칼라

기울어진 두꺼운 소문자 -> 벡터

대문자 -> matrix

 

Linear System : Linear Equation들의 집합. 즉, 선형 연립방정식

 

feature 정보 : weight, height, is_smoking

target label : life-span

수명을 결정해주는 최적의 계수를 찾는 것이 목적!

 

3개식을 모두 만족하는 x1, x2, x3의 값을 찾는다

 

3개 방정식의 계수를 모두 모은다. -> matrix A

target variable의 값 -> matrix b

가중치의 값 -> matrix x

 

Ax = b 로 간단히 나타낼 수 있다

첫번쨰 식은 matrix A의 첫번째 row와 matrix x의 내적이 된다

 

matrix를 푸는 방법중 하나는 역행렬을 이용하는 것이다.

 

identity matrix : 항등행렬

정사각 행렬에서 diagonal entries는 모두 1이고 나머지는 0인 형태

 

항등행렬은 어떤 벡터와 곱해졌을 때에도 자기 자신을 만들어낸다.

 

항등행렬을 사용해서 역행렬을 정의할 수 있다

 

역행렬은 정사각 행렬만을 대상으로 한다

사이즈가 n x n일때 역행렬은 해당 행렬의 왼쪽이나 오른쪽에 곱했을 때 모두 항등행렬이 되도록 하는 행렬을 말한다.

 

2 x 2에서는 역행렬을 구하는 공식이 있다

 

rectangular matrix에서의 역행렬

항등행렬이 되는 행렬은 찾을 수 있지만 정사각형 형태가 아니기 때문에 역행렬이라고 부르지는 않는다.

왼쪽에 곱했을 때 항등행렬이 되지만 오른쪽에 곱했을 때는 되지 않는다.

 

역행렬을 구한뒤

왼쪽에 곱해서 방정식을 풀 수 있다

 

예제에서 역행렬을 이용해 x를 구할 수 있다

 

가중치를 다 찾아냈다.

 

역행렬이 존재한다면?

-> 해가 유일하게 존재한다

 

역행렬이 존재하지 않는 경우는?

-> 판별식 공식에서 ad-bc = 0 인 경우 (ad = bc, a : b = c : d 인 경우) 비율이 같을 때

ad - bc 를 det A라고 부른다

 

inverse matrix가 없는 경우에는 어떻게 구할것인가?

해가 무수히 많거나 해가 하나도 없게 된다. 

 

x + 2y = 3

2x + 4y = 6 인 경우 해가 무수히 많다

 

 직사각행렬인 경우

m보다 n이 더 큰 경우 (feature 수가 더 많은 경우)

미지수의 개수가 식의 수보다 많을 때 해가 무수히 많다 - under determined

미지수의 개수보다 식의 수가 많을 때 해가 없다 - over determined

 

가장 근사적으로 접근하는 경우를 찾는다

 

or

regularization을 적용해서 risk가 가장 적은 경우를 찾는다