티스토리

hyeonzzz's Tech Blog

검색하기

블로그 홈

hyeonzzz's Tech Blog

chohj2920.tistory.com/m

hyeonzzz 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

[Andrew Ng] 딥러닝 4단계 : 3. convNets-실질적 조언들 1. 오픈소스를 활용해라많은 신경망이 따라하기 까다로운 이유는 하이퍼 파라미터를 조정 학습율 감쇠 등으로 성능의 차이가 생길 수 있기 때문입니다. 그리고 때로는 발표된 논문을 읽는 것만으로는 따라하는데 어려움이 있습니다. 운이 좋게도 많은 딥러닝 연구자들은 일반적으로 Github 같이 인터넷에 오픈 소스로 작품을 올려놓죠. 기반을 삼고 싶은 논문을 찾게 된다면 온라인에서 오픈 소스의 구현법을 찾으면 됩니다. 컴퓨터 비전 앱을 개발 중이라면 작업의 흐름에 있어서 자연스러운 것은 배우거나 들어본 구조를 선택해서 사용할 때 오픈 소스의 구현법을 찾아서 GitHub로부터 다운 받아서 시작하는 것입니다. 이렇게 하는 것의 장점은 때로는 네트워크가 훈련하는데 많은 시간을 필요로 하는데 누군가가 다중 GPU를 이용해.. 공감수 0 댓글수 1 2024. 6. 10.
[Andrew Ng] 딥러닝 4단계 : 2. 케이스 스터디 1. 왜 케이스 스터디를 하나요?합성곱 신경망을 구축하기 위해서는 효과적인 신경망을 살펴봐야 합니다.하나의 컴퓨터 비전 작업에서 잘 작동하는 신경망의 구조는 다른 작업에서도 잘 작동하는 경우가 많습니다. LeNet-5AlexNetVGGResNetInception 2. 고전적인 네트워크들 LeNet-5 구조가 있습니다 32 x 32 x 1 의 이미지가 있을 때 LeNet-5 의 목적은 손글씨의 숫자를 인식하는 것입니다첫 번째로는 6 개의 5 x 5 필터와 1 의 스트라이드를 사용 -> 28 x 28 x 6 평균 풀링을 사용하고 필터 크기가 2 이고 스트라이드가 2 -> 14 x 14 x 6 두번째 합성곱 층을 적용하는데 16 개의 5 x 5 필터를 사용 -> 10 x 10 x 16 두번째 풀링 층 .. 공감수 0 댓글수 1 2024. 6. 10.
seq2seq, Attention, Transformer, BERT 정리 공감수 0 댓글수 0 2024. 5. 31.
[파이토치 딥러닝 프로젝트 모음집] 1. 인공지능 1.1 인공지능과 딥러닝 인공지능 : 인간의 학습, 추론, 지각 및 언어능력을 컴퓨터가 모방할 수 있도록 연구하고 구현하는 분야 인공지능 : 머신러닝과 딥러닝을 포함한 컴퓨터 과학, 전산학, 통계 및 개발 등 모든 관련 기술 머신러닝 : 정형 데이터를 활용한 인공지능 분야 딥러닝 : 비정형 데이터를 활용한 인공지능 분야 1.2.2 머신러닝 구분 지도학습 : 정답이 주어진 데이터를 활용하여 알고리즘을 통해 산출된 예측값과 정답을 비교하며 학습하는 방법 비지도학습 : 정답이 주어지지 않은 데이터를 탐색하여 패턴이나 내부 구조를 파악하는 학습 방법 강화학습 : 자신이 한 행동에 대한 보상을 받으며, 그 보상을 최대화할 수 있는 행동을 찾는 학습 방법 1.2.3 지도학습 지도학습 : 정답 혹은 레이블이 있는 환.. 공감수 0 댓글수 2 2024. 3. 12.
순환 신경망 - LSTM / GRU 1. LSTM (long short-term memory) : 기존의 순환 신경망 모델에 장기기억을 담당하는 부분을 추가한 것 출처 : https://colah.github.io/posts/2015-08-Understanding-LSTMs/ 1) cell state : 장기기억을 담당하는 부분 x : 기존의 정보를 얼마나 남길 건인지 비중을 곱함 + : (현재 들어온 데이터와 기존의 은닉 상태)를 통해 정보를 추가함 2) forget gate : 어떤 과거 정보를 잊을지 (현재의 입력값과 직전 시점의 은닉 상태값)을 입력으로 받음 σ : 기존의 정보를 얼마나 전달할지 비중을 정함 3) input gate : 어떤 새로운 정보를 셀 상태에 추가할지 (현재의 입력값과 직전 시점의 은닉 상태값)을 입력으로 받.. 공감수 0 댓글수 0 2024. 3. 8.
[Andrew Ng] 딥러닝 4단계 : 1. 합성곱 신경망 네트워크 (CNN) 1. 컴퓨터비전 (Computer Vision)컴퓨터비전 : 이미지와 비디오를 처리해 유의미한 정보를 추출하는 인공지능 기술 ▶ 컴퓨터비전의 종류Image Classification - 고양이인지 아닌지 분류한다Object Detection - 차를 식별한다. 한개가 아니라 여러개의 차를 식별할 수 있다Neural Style Transfer -두가지 스타일의 그림을 섞어서 새로운 그림을 생성해낸다 ▶ Deep Learning on large images저해상도의 이미지) 고양이 이미지의 크기는 64 * 64 이지만 r, g, b 때문에 3을 곱한다. 따라서 이미지 크기는 12288이 된다 고해상도의 이미지) 다루게 될 이미지가 더 큰 이미지인 경우에도 같은 이유로 3백만의 크기를 갖는다 만약 3백만개의 .. 공감수 2 댓글수 0 2024. 2. 5.
[Andrew Ng] 딥러닝 2단계 : 7. 다중 클래스 분류 1. Softmax Regression지금까지 우리가 봤던 분류 문제는 이진 분류였습니다. 0과 1의 두 가지 선택이 있었죠. 고양이냐 아니냐처럼 말이에요. 여러 개의 선택지가 주어진다면 어떨까요? 로지스틱 회귀을 일반화한 소프트맥스 회귀가 있는데요. 이걸 여러 클래스나 C 중 하나를 인식할 때 예측에 사용할 수 있습니다. 클래스가 두 개인 경우 밖에 말이죠. 살펴봅시다. 고양이를 인식하는 것에서 나아가 개, 고양이, 병아리를 인식해봅시다. 고양이는 클래스 1, 개는 클래스 2, 병아리는 클래스 3입니다. 그리고 여기에 해당하지 않는 경우 클래스 0이라고 하죠. 여기에 이미지와 속해 있는 클래스를 적어뒀습니다. 여기에서 대문자 C는 클래스의 숫자를 나타내는 데 사용할 겁니다. 여러분의 입력값을 분류하는 .. 공감수 1 댓글수 2 2024. 2. 1.
[Andrew Ng] 딥러닝 2단계 : 6. 배치 정규화 1. 배치 정규화 딥러닝이 떠오르면서 가장 중요한 아이디어 중 하나로 배치 정규화라는 알고리즘이 꼽힙니다. Sergey Ioffe와 Christian Szegedy가 만들었고, 배치 정규화는 하이퍼파라미터 탐색을 쉽게 만들어줄 뿐만 아니라 신경망과 하이퍼파라미터의 상관관계를 줄여주죠. 이는 더 많은 하이퍼파라미터가 잘 작동하는 데 도움이 됩니다. 아주 깊은 심층신경망이라도 아주 쉽게 학습할 수 있도록 도와줍니다. 어떻게 배치 정규화가 작동하는지 보겠습니다. 여러분이 로지스틱 회귀 등으로 모델을 학습시킬 때 입력 변수들을 정규화하면 학습이 빨라졌던 것을 기억하시나요? 평균을 계산할 때는 입력 변수의 평균을 뺐고, 분산을 계산할 때는 x(i)^2를 사용하죠? 이 값을 이용해 정규화해줍니다. 앞선 영상에서 이.. 공감수 0 댓글수 0 2024. 2. 1.
[Andrew Ng] 딥러닝 2단계 : 5. 하이퍼파라미터 튜닝 1. 튜닝 프로세스심층신경망에서 다뤄야 할 하이퍼파라미터1. 학습률 α2. 모멘텀 알고리즘의 β, Adam 최적화 알고리즘의 β1, β2, ε3. 층의 수4. 층에서 은닉 유닛의 수5. 학습률 감쇠 정도6. 미니 배치의 크기 학습률 α는 튜닝해야 할 가장 중요한 하이퍼파라미터이고요. α 이외에 주로 튜닝하는 것들로는 모멘텀이 있겠고, 기본값 0.9 정도로 설정할 수 있겠고요. 최적화 알고리즘을 효율적으로 돌리기 위해 미니 배치 크기도 튜닝할 수 있습니다. 은닉 유닛도 자주 튜닝합니다. 여기 오렌지색 박스는 학습률 α 다음으로 중요한 것들이고요. 층의 숫자도 큰 차이를 만들 수 있고, 학습률 감쇠도 마찬가지입니다. 그리고 Adam 알고리즘에서는 β1, β2, ε는 튜닝을 하지 않고 0.9, 0.999, 1.. 공감수 0 댓글수 1 2024. 1. 29.
[Andrew Ng] 딥러닝 2단계 : 4. 최적화 알고리즘 1. 미니 배치 경사하강법 벡터화는 m개의 샘플에 대한 계산을 효율적으로 만들어준다. 따라서 훈련 샘플을 받아서 큰 행렬에 저장한다. X = [x^(1) x^(2) x^(3) ... x^(m)] 차원은 (n_x, m) Y = [y^(1) y^(2) y^(3) ... y^(m)] 차원은 (1, m) 벡터화는 m개의 샘플을 상대적으로 빠르게 훈련시킬 수 있지만 m이 매우 크다면 여전히 느릴 수 있다.m >= 5,000,000 이라면경사 하강법의 작은 한 단계를 밟기 전에 모든 훈련 세트를 처리해야 한다. 또 경사 하강법의 다음 단계를 밟기 전에 다시 오백만 개의 전체 훈련 샘플을 처리해야 한다. 따라서 오백만 개의 거대한 훈련 샘플을 모두 처리하기 전에 경사 하강법이 진행되도록 하면 더 빠른.. 공감수 0 댓글수 1 2024. 1. 29.
[Andrew Ng] 딥러닝 2단계 : 3. 최적화 문제 설정 1. 입력값의 정규화그림처럼 두 개의 입력 특성이 있는 훈련 세트가 있을 때 두 단계에 따라 입력을 정규화할 수 있다. 첫 번째 과정은 평균을 0으로 만드는 것이다. 뮤는 1/m 곱하기 1부터 m까지 x(i)의 합이고 이 값은 벡터이다. x는 x-뮤로 설정됩니다이 식은 오른쪽 그래프와 같이 0의 평균을 갖게 될 때까지 훈련 세트를 이동하는 것을 의미한다두 번째 과정은 분산을 1로 만드는 것이다.그래프를 보면 특성 x1이 특성 x2보다 더 큰 분산을 갖고 있다.시그마 제곱은 1/m 곱하기 1부터 m까지 x(i)제곱의 합이고 이 값은 각 특성의 분산에 대한 벡터이다x는 시그마 제곱분의 x로 설정한다이 식을 적용하면 x1과 x2의 분산은 이제 1이 된다 교수님께서 몇가지 팁을 주셨는데 이것을 훈련데이터를 확대.. 공감수 0 댓글수 1 2024. 1. 25.
[Andrew Ng] 딥러닝 2단계 : 2. 신경망 네트워크의 정규화 1. 정규화정규화 : 과적합(overfitting)을 줄이고 모델의 성능을 향상시키기 위한 여러 기법 높은 분산으로 신경망이 과대적합하는 문제가 의심된다면 가장 처음 시도해야 할 것은 정규화이다.더 많은 훈련 데이터를 얻는 것은 비용이 많이 들어가게 되므로 정규화를 시도한다. L2 정규화를 훨씬 더 많이 사용한다 L2 정규화 - 로지스틱 회귀를 사용해 아이디어를 발전시켜 보겠다. 로지스틱 회귀는 비용 함수 J를 최소화하는 것이다. 즉, 훈련 샘플의 개별적인 예측의 손실에 관한 함수이다. 로지스틱 회귀에 정규화를 추가하기 위해서 정규화 매개변수라고 부르는 λ를 추가해야 한다. λ를 2m으로 나누고 w 제곱의 노름을 곱해준다. w 제곱의 노름은 j의 1부터 nx까지 wj^2의 값을 더한 것과 같다. w의 전.. 공감수 2 댓글수 2 2024. 1. 25.
[Andrew Ng] 딥러닝 1단계 : 5. 심층 신경망 네트워크 1. 더 많은 층의 심층 신경망심층 신경망이란 무엇일까?우리는 로지스틱 회귀를 매우 얕은 모델이라고 한다. 로지스틱 회귀는 한층의 신경망이다. 반면에 오른쪽 아래 모델은 더 깊은 모델이다. 은닉층의 개수는 또 다른 하이퍼파라미터가 된다. 다양한 값을 시도하고 검증 데이터에서 평가해야 한다. 심층 신경망 표기법그림은 4개 층의 신경망이다. 각각의 은닉층의 유닛 개수는 5, 5, 3이고 한 개의 출력 유닛이 있다.L : 네트워크 층 수 (4)n^[l] : l층에 있는 유닛 개수 (n^[1] = 5)a^[l] : l층에서의 활성값 (정방향 전파에서 a^[l] = g^[l](z^[l]))w^[l] : 가중치 a^[0] = X : 입력 특징a^[L] = ŷ ŷ : 예측된 출력 2. 심층 신경망에서의 정방향전.. 공감수 1 댓글수 1 2024. 1. 24.
[Andrew Ng] 딥러닝 1단계 : 4. 얕은 신경망 네트워크 -(2) 7. 왜 비선형 활성화 함수를 써야할까요? 신경망이 흥미로운 함수를 계산하려면 비선형 활성화 함수가 필요하다.4개 식에서 g를 없애고 z^[1]로 대체하면 g(z) = z이다. 이건 선형 활성화 함수라고 부른다. 여기선 입력값을 출력값으로 내보내기 때문에 항등 함수라고 부르는게 더 맞다. a^[2]도 z^[2]로 만들어 준다. 모델은 ŷ을 입력 특성 x에 대한 선형 함수로 계산하게 된다. 첫 두 식을 보면 a^[1] = z^[1] = W^[1]x + b^[1]이 된다. a^[2] = z^[2] = W^[2]a^[1] + b^[2]가 된다. a^[1]을 두번째 식에 대입하면 a^[2] = z^[2] = W^[2]( W^[1]x + b^[1] ) + b^[2]가 되고 간소화하면 W'x + b'이 된다. 선.. 공감수 0 댓글수 0 2024. 1. 20.
[Andrew Ng] 딥러닝 1단계 : 4. 얕은 신경망 네트워크 -(1) 1. 신경망 네트워크 개요 신경망을 어떻게 구현하는지에 대한 개요지난시간에는 로지스틱 회귀를 다뤘다. 왼쪽 위 모델은 오른쪽 위 계산 그래프와 일치한다. 특성 x와 변수 w, b를 입력하면 z를 계산한다. z는 ŷ = a를 계산하는데 쓰이고 마지막으로 손실 함수인 L을 계산할 수 있다.신경망은 sigmoid 유닛을 쌓아서 만들 수 있고 오른쪽 아래처럼 생겼다. 왼쪽 위 모델에서 노드는 z를 계산하고 a를 계산하는 두 단계로 이루어져 있다. 왼쪽 아래 신경망에서 첫번째 노드들은 z와 a를 계산하고, 두번째 노드들은 또 다른 z와 a를 계산한다. 앞으로 사용할 표기법은 다음과 같다. 첫번째 노드에서 특성 x와 변수 W와 b를 입력하면 z^[1]을 계산한다. ( x^[i]는 i번째 레이어를 뜻하고 x^(i).. 공감수 0 댓글수 0 2024. 1. 17.
[Andrew Ng] 딥러닝 2단계 : 1. 머신러닝 어플리케이션 설정하기 지금부터는 딥러닝의 실제적인 면을 다룸- 하이퍼파라미터 튜닝- 최적화 알고리즘의 속도를 높여 적당한 시간 안에 학습할 수 있는 방법 1. Train/Dev/Test 세트▶ 신경망을 훈련시킬 때 결정 내려야 할 것신경망이 몇 개의 층을 가지는지각 층이 몇 개의 hidden unit을 가지는지학습률과 활성화 함수는 무엇인지(Idea → Code → Experiment) 반복하면서 하이퍼파라미터에 대한 선택을 개선한다!딥러닝에 경험이 많은 사람도 첫 시도만에 하이퍼파라미터에 대한 정확한 추측을 할 순 없다 따라서, 중요한 것은사이클을 효율적으로 도는 것데이터 세트를 잘 설정하는 것이다. ▶ Train/ dev/ test setstrain 세트 : 훈련을 위해 사용되는 데이터, 계속 훈련 알고리즘을 적용 .. 공감수 0 댓글수 0 2023. 10. 10.
[Andrew Ng] 딥러닝 1단계 : 3. 파이썬과 벡터화 1. 벡터화▶ 벡터화 (Vectorization)내장 함수를 써 코드에서 for문을 없앨 수 있다큰 데이터 세트를 학습시킬때 코드 실행시간을 줄일 수 있어 중요하다▶ 로지스틱 회귀 계산 - Non-vectorizedw, x : 열 벡터 (R^(n_x)의 차원을 가진 벡터)벡터화 되지 않은 구현일 땐 w^Tx를 계산하기 위해 z=0for i in range(n_x): z+= w[i] * x[i]z += b를 계산해야 했다. 벡터화되지 않아 느리다 ▶ 로지스틱 회귀 계산 - Vectorizedw^Tx 를 직접 계산한다z = np.dot(w,x) + b훨씬 빠르다 ▶ 코드 실습import numpy as npa = np.array([1,2,3,4])print a[ 1 2 3 4 ]#벡터화 이용import t.. 공감수 0 댓글수 0 2023. 9. 19.
[Andrew Ng] 딥러닝 1단계 : 2. 신경망과 로지스틱회귀 (2) 1. 계산 그래프 (Computation Graph)▶ 계산 그래프 (Computation Graph): 계산 과정을 그래프로 나타낸 것 ▶ 신경망의 계산순전파 (forward propagation) : 신경망의 출력값을 계산역전파 (back propagation) : 경사나 도함수를 계산 ▶ J(a,b,c)=3(a+bc) 의 계산 그래프 만드는 과정u = bcv = a+uJ = 3v 2. 계산 그래프로 미분하기▶ 연쇄 법칙 (Chain rule): 합성함수의 도함수는 합성함수를 구성하는 함수의 미분을 곱함으로써 구할 수 있다 ▶ back propagation 이용1. v에 대한 J의 도함수 구하기v = 11 -> 11.001J = 33 -> 33.003따라서 v에 대한 J의 도함수는 3이다 2. a.. 공감수 0 댓글수 0 2023. 9. 12.
[Andrew Ng] 딥러닝 1단계 : 2. 신경망과 로지스틱회귀 (1) 1. 이진 분류▶ 이진 분류 (Binary Classification): 그렇다 / 아니다 2개로 분류하는 것입력된 사진을 나타내는 feature vector x를 가지고 y가 0인지 1인지를 예측하는 것 (‘그렇다’ = 1, ‘아니다’= 0 ) 빨강, 초록, 파랑 픽셀을 한 열로 나열하면 벡터 x의 전체 차원은 64*64*3 = 12288이 된다특성 벡터 x를 가지고 y가 1인지 0인지 예측한다*신경망에서 학습하는 방법은 순전파 (forward propagation)와 역전파 (back propagation)가 있다 ▶ 표기법 설명x : 훈련 샘플들y : 출력될 레이블m : 훈련샘플의 갯수 훈련 세트 : {(x^(1),y^(1)), (x^(2),y^(2)),..., (x^(m),y^(m))}m_trai.. 공감수 0 댓글수 0 2023. 9. 12.
[Andrew Ng] 딥러닝 1단계 : 1. 딥러닝 소개 1. 신경망은 무엇인가?신경망 : 입력(x)와 출력(y)를 매칭해주는 함수를 찾는 과정딥러닝 : 신경망을 학습시키는 것 ▶ 주택 가격 예측 - 기본적인 신경망 알아보기가운데 원은 hidden unit이다신경망은 x를 입력으로 받아 y를 출력하는 함수를 찾아낸다충분한 데이터가 주어지면 더 잘 알아낼 수 있다해당 뉴런에 관계없는 입력값이라도 입력으로 넣어주어야 한다. 관계 여부는 신경망이 학습하면서 알아서 조절해 준다 2. 신경망을 이용한 지도학습▶ 머신러닝의 방법지도학습 (Supervised learning) : 정답이 있는 (label 되어있는) 데이터를 사용하여 학습시키는 방법비지도학습 (Unsupervised learning) : 정답이 없는 (label 되어있지 않은) 데이터를 사용하여 학습시키는.. 공감수 0 댓글수 0 2023. 9. 12.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.