hyeonzzz's Tech Blog

1. 오픈소스를 활용해라많은 신경망이 따라하기 까다로운 이유는 하이퍼 파라미터를 조정 학습율 감쇠 등으로 성능의 차이가 생길 수 있기 때문입니다. 그리고 때로는 발표된 논문을 읽는 것만으로는 따라하는데 어려움이 있습니다. 운이 좋게도 많은 딥러닝 연구자들은 일반적으로 Github 같이 인터넷에 오픈 소스로 작품을 올려놓죠. 기반을 삼고 싶은 논문을 찾게 된다면 온라인에서 오픈 소스의 구현법을 찾으면 됩니다. 컴퓨터 비전 앱을 개발 중이라면 작업의 흐름에 있어서 자연스러운 것은 배우거나 들어본 구조를 선택해서 사용할 때 오픈 소스의 구현법을 찾아서 GitHub로부터 다운 받아서 시작하는 것입니다. 이렇게 하는 것의 장점은 때로는 네트워크가 훈련하는데 많은 시간을 필요로 하는데 누군가가 다중 GPU를 이용해..

1. 왜 케이스 스터디를 하나요?합성곱 신경망을 구축하기 위해서는 효과적인 신경망을 살펴봐야 합니다.하나의 컴퓨터 비전 작업에서 잘 작동하는 신경망의 구조는 다른 작업에서도 잘 작동하는 경우가 많습니다. LeNet-5AlexNetVGGResNetInception  2. 고전적인  네트워크들 LeNet-5 구조가 있습니다 32 x 32 x 1 의 이미지가 있을 때 LeNet-5 의 목적은 손글씨의 숫자를 인식하는 것입니다첫 번째로는 6 개의 5 x 5 필터와 1 의 스트라이드를 사용 -> 28 x 28 x 6  평균 풀링을 사용하고 필터 크기가 2 이고 스트라이드가 2 -> 14 x 14 x 6  두번째 합성곱 층을 적용하는데 16 개의 5 x 5 필터를 사용 -> 10 x 10 x 16 두번째 풀링 층 ..

1.1 인공지능과 딥러닝 인공지능 : 인간의 학습, 추론, 지각 및 언어능력을 컴퓨터가 모방할 수 있도록 연구하고 구현하는 분야 인공지능 : 머신러닝과 딥러닝을 포함한 컴퓨터 과학, 전산학, 통계 및 개발 등 모든 관련 기술 머신러닝 : 정형 데이터를 활용한 인공지능 분야 딥러닝 : 비정형 데이터를 활용한 인공지능 분야 1.2.2 머신러닝 구분 지도학습 : 정답이 주어진 데이터를 활용하여 알고리즘을 통해 산출된 예측값과 정답을 비교하며 학습하는 방법 비지도학습 : 정답이 주어지지 않은 데이터를 탐색하여 패턴이나 내부 구조를 파악하는 학습 방법 강화학습 : 자신이 한 행동에 대한 보상을 받으며, 그 보상을 최대화할 수 있는 행동을 찾는 학습 방법 1.2.3 지도학습 지도학습 : 정답 혹은 레이블이 있는 환..

1. LSTM (long short-term memory) : 기존의 순환 신경망 모델에 장기기억을 담당하는 부분을 추가한 것 출처 : https://colah.github.io/posts/2015-08-Understanding-LSTMs/ 1) cell state : 장기기억을 담당하는 부분 x : 기존의 정보를 얼마나 남길 건인지 비중을 곱함 + : (현재 들어온 데이터와 기존의 은닉 상태)를 통해 정보를 추가함 2) forget gate : 어떤 과거 정보를 잊을지 (현재의 입력값과 직전 시점의 은닉 상태값)을 입력으로 받음 σ : 기존의 정보를 얼마나 전달할지 비중을 정함 3) input gate : 어떤 새로운 정보를 셀 상태에 추가할지 (현재의 입력값과 직전 시점의 은닉 상태값)을 입력으로 받..

1. 컴퓨터비전 (Computer Vision)컴퓨터비전 : 이미지와 비디오를 처리해 유의미한 정보를 추출하는 인공지능 기술 ▶ 컴퓨터비전의 종류Image Classification - 고양이인지 아닌지 분류한다Object Detection - 차를 식별한다. 한개가 아니라 여러개의 차를 식별할 수 있다Neural Style Transfer -두가지 스타일의 그림을 섞어서 새로운 그림을 생성해낸다 ▶ Deep Learning on large images저해상도의 이미지) 고양이 이미지의 크기는 64 * 64 이지만 r, g, b 때문에 3을 곱한다. 따라서 이미지 크기는 12288이 된다 고해상도의 이미지) 다루게 될 이미지가 더 큰 이미지인 경우에도 같은 이유로 3백만의 크기를 갖는다 만약 3백만개의 ..

1. Softmax Regression지금까지 우리가 봤던 분류 문제는 이진 분류였습니다. 0과 1의 두 가지 선택이 있었죠. 고양이냐 아니냐처럼 말이에요. 여러 개의 선택지가 주어진다면 어떨까요? 로지스틱 회귀을 일반화한 소프트맥스 회귀가 있는데요. 이걸 여러 클래스나 C 중 하나를 인식할 때 예측에 사용할 수 있습니다. 클래스가 두 개인 경우 밖에 말이죠. 살펴봅시다. 고양이를 인식하는 것에서 나아가 개, 고양이, 병아리를 인식해봅시다. 고양이는 클래스 1, 개는 클래스 2, 병아리는 클래스 3입니다. 그리고 여기에 해당하지 않는 경우 클래스 0이라고 하죠. 여기에 이미지와 속해 있는 클래스를 적어뒀습니다. 여기에서 대문자 C는 클래스의 숫자를 나타내는 데 사용할 겁니다. 여러분의 입력값을 분류하는 ..

1. 배치 정규화 딥러닝이 떠오르면서 가장 중요한 아이디어 중 하나로 배치 정규화라는 알고리즘이 꼽힙니다. Sergey Ioffe와 Christian Szegedy가 만들었고, 배치 정규화는 하이퍼파라미터 탐색을 쉽게 만들어줄 뿐만 아니라 신경망과 하이퍼파라미터의 상관관계를 줄여주죠. 이는 더 많은 하이퍼파라미터가 잘 작동하는 데 도움이 됩니다. 아주 깊은 심층신경망이라도 아주 쉽게 학습할 수 있도록 도와줍니다. 어떻게 배치 정규화가 작동하는지 보겠습니다. 여러분이 로지스틱 회귀 등으로 모델을 학습시킬 때 입력 변수들을 정규화하면 학습이 빨라졌던 것을 기억하시나요? 평균을 계산할 때는 입력 변수의 평균을 뺐고, 분산을 계산할 때는 x(i)^2를 사용하죠? 이 값을 이용해 정규화해줍니다. 앞선 영상에서 이..

1. 튜닝 프로세스심층신경망에서 다뤄야 할 하이퍼파라미터1. 학습률 α2. 모멘텀 알고리즘의 β, Adam 최적화 알고리즘의 β1, β2, ε3. 층의 수4. 층에서 은닉 유닛의 수5. 학습률 감쇠 정도6. 미니 배치의 크기 학습률 α는 튜닝해야 할 가장 중요한 하이퍼파라미터이고요. α 이외에 주로 튜닝하는 것들로는 모멘텀이 있겠고, 기본값 0.9 정도로 설정할 수 있겠고요. 최적화 알고리즘을 효율적으로 돌리기 위해 미니 배치 크기도 튜닝할 수 있습니다. 은닉 유닛도 자주 튜닝합니다. 여기 오렌지색 박스는 학습률 α 다음으로 중요한 것들이고요. 층의 숫자도 큰 차이를 만들 수 있고, 학습률 감쇠도 마찬가지입니다. 그리고 Adam 알고리즘에서는 β1, β2, ε는 튜닝을 하지 않고 0.9, 0.999, 1..

1. 미니 배치 경사하강법 벡터화는 m개의 샘플에 대한 계산을 효율적으로 만들어준다. 따라서 훈련 샘플을 받아서 큰 행렬에 저장한다. X = [x^(1) x^(2) x^(3) ... x^(m)]     차원은 (n_x, m) Y = [y^(1) y^(2) y^(3) ... y^(m)]     차원은 (1, m) 벡터화는 m개의 샘플을 상대적으로 빠르게 훈련시킬 수 있지만 m이 매우 크다면 여전히 느릴 수 있다.m >= 5,000,000 이라면경사 하강법의 작은 한 단계를 밟기 전에 모든 훈련 세트를 처리해야 한다. 또 경사 하강법의 다음 단계를 밟기 전에 다시 오백만 개의 전체 훈련 샘플을 처리해야 한다. 따라서 오백만 개의 거대한 훈련 샘플을 모두 처리하기 전에 경사 하강법이 진행되도록 하면 더 빠른..