Sims의 문제해결 저장소

바닐라 RNN은 길이가 길어지면 맨 앞쪽 내용이 점점 희석되는 단점이 있다. 이런 단점을 해결하기 위해 나온 모델이 LSTM / GRU 모델이다. 두 모델의 성능은 비슷하다고 하지만, GRU가 LSTM보다 연산 수가 적다고 한다. RNN의 원리는 직관적으로 이해가 가능하지만, LSTM 내부 구조는 직관적으로 복잡하기에 어떻게 사용하는지 정도만 알고 갔는데, 내부적으로 어떤 의미가 있는지 나름대로 해석하고 부여하여 정리해보고자 한다. https://wikidocs.net/60762 해당 링크의 설명을 참고하여 나름대로 의미를 부여해 보겠다. LSTM의 내부구조는 위의 그림과 같다. RNN과 다른점은 Cell state라는 것을 가지게 되는데, Cell state는 어떤 어떤 정보를 기억할 지 저장해 놓은 ..

딥러닝 분야를 접하면 반드시 접하게 되는 CNN, RNN이 있다. 비전과 자연어의 기본 모델이라, 어떻게 작동이 되는지 처음부터 잘 알아두면 큰 틀의 과정을 잘 이해할 수 있다고 생각된다. 여기서는 RNN에 대해 이야기 해보려고 한다. 어떻게 사용하는지 사용법을 알고싶다면, 빠르게 다른 포스팅을 찾는게 더 좋을 수 있다. 정말 어떻게 계산되는지 설명해보고자 한다. RNN의 이론을 보면 이와같은 이미지를 안볼수가 없다. 대부분 이런 이미지를 통해 RNN이라 설명한다. 하지만, 개인적으로 너무 설명이 생략된 것이 많다고 생각한다. 개인적으로 이런 그림이 보다 직관적이라 생각한다. A,B,C,D는 단어 embedding (vector)이다. 하지만, 보지 못한 것이 하나 있다. 맨 왼쪽 '0' 이라는 노드....