목록rnn (1)

hyeonzzz's Tech Blog

순환 신경망 - LSTM / GRU

1. LSTM (long short-term memory) : 기존의 순환 신경망 모델에 장기기억을 담당하는 부분을 추가한 것 출처 : https://colah.github.io/posts/2015-08-Understanding-LSTMs/ 1) cell state : 장기기억을 담당하는 부분 x : 기존의 정보를 얼마나 남길 건인지 비중을 곱함 + : (현재 들어온 데이터와 기존의 은닉 상태)를 통해 정보를 추가함 2) forget gate : 어떤 과거 정보를 잊을지 (현재의 입력값과 직전 시점의 은닉 상태값)을 입력으로 받음 σ : 기존의 정보를 얼마나 전달할지 비중을 정함 3) input gate : 어떤 새로운 정보를 셀 상태에 추가할지 (현재의 입력값과 직전 시점의 은닉 상태값)을 입력으로 받..
Deep Learning/Basics 2024. 3. 8. 16:39
이전 Prev 1 Next 다음