[인공지능을 위한 선형대수] 2. 선형시스템 및 선형변환 - 전사함수와 일대일함수

전사함수와 일대일함수

<ONTO(전사) : 공역 = 치역>

3차원 벡터를 2차원 벡터로 보내는 변환을 생각했을 때 2차원 벡터들의 모든 집합은 공역이다. 그 중에서 특정 벡터의 함숫값만 모아놓은 것은 치역이다. (공역 ⊃ 치역) 공역보다 정의역의 원소의 갯수가 많아야 한다.

치역이 가장 커질 수 있을 경우는 공역과 똑같아지는 경우이다.  

 

전사한다 -> n차원에서 m차원으로 mapping하는 함수가 있을 때 공역에서 어떤 벡터 하나를 뽑아도 그 점은 어떤 정의역의 하나 이상에서의 함숫값이 되어야 한다. 공역에서 어떤 벡터 하나를 뽑아도 화살표를 하나 이상 맞아야 한다.

 

정의역이 공역보다 갯수가 많아야 하므로 작은 차원 -> 큰 차원은 불가능하다.

 

인코딩->디코딩은 어떻게 가능한가?

아주 일부분만을 커버한다. 평면만 mapping해도 얼굴 전체를 나타낼 수 있게 된다.  얼굴 이미지가 존재할법한 유의미한 평면을 잘 찾아낸다. 

manifold : 학습에 사용하는 얼굴 이미지들이 존재할법한 유의미한 평면 (치역같은)

 

<ONE-TO-ONE : 1대 1 함수, 치역이 화살표를 한번만 맞을 수 있다>

 

중복이 되면 안되므로 큰 차원 -> 작은 차원은 불가능하다

2차원 공간안에서 3개 벡터가 주어졌다면 linearly dependent해진다.

 

치역에서의 한 원소가 [5, 7]이라고 하고 입력값에서의 3차원 벡터가 무엇인지 풀어본다고 하자. [x1, x2, x3]가 [5, 7]에 화살표를 쏜 값이다. x 벡터가 최소 하나 이상 존재한다. 이를 위해선 b가 span위에 있어야 한다. 

 

unique한지 여러개인지는 어떻게 결정하는가?

matrix A의 column들이 linearly dependent하면 해가 여러개이고, linearly independent하면 해가 1개이다. 

여기서는 2개 벡터만으로 이미 2차원의 공간을 모두 커버하므로 하나의 벡터가 더 주어진다면 중복이 된다. 따라서 x는 여러개가 되고 해가 무수히 많아진다. 따라서 ONE-TO-ONE은 linearly independent와 동치이다. 

 

neural net이 layer를 하나씩 거침에 따라서 유의미한 feature들을 추출해내는 과정이다.

 

ONE-TO-ONE이라는 요소는 output 벡터가 하나로 정해지는 것이다. 

의도적으로 유용한 정보만 남기고, 입력 과정에서의 차이점을 없애는 과정이다. 정보의 손실 과정.

 

ONTO는 입력벡터가 바뀌었을 때 출력 벡터의 공역을 모두 커버하는지 

3차원 -> 2차원일 때 ONTO가 될 가능성은 있지만 항상 전사하는 것은 아니다. 위의 예제에서는 3개 벡터들이 모두 한 방향으로만 라인업되어있기 때문에 2차원 평면을 모두 뒤덮지 못한다.

추출해놓은 feature들이 일부분으로만 mapping될 수도 있다