Sims의 문제해결 저장소

딥러닝을 공부하다보면 언젠가 마주칠 수 밖에 없는 기법이 존재한다.그중 하나가 Attemtion이다. Attention의 등장으로 자연어 테스크의 성능이 월등히 올라갔고, 그 영향으로 분야를 가리지 않고 적용하며 모델 성능 개선의 효과를 볼 수 있었다.지금의 chatgpt도 Attention기법이 없었다면 현재 존재하지 않았을 수도 있다. 이렇게 딥러닝에 중대한 영향력을 미치고 있는 해당 기법을 도저히 그냥 넘어갈 순 없다.간단하게라도 살펴보고자 넘어간다.Yolov11에서도 Attention 기법이 적용된 블럭이 있으니 해당 내용은 꼭 한번쯤 보길 권한다. 위 내용이 Attention의 내용 전부다. 물론 논문에서 표현하고자 하는 심오한 내용은 단시간에 알아차리기 힘드니 기본이 되는 내용을 지속적으로 보..

https://sims-solve.tistory.com/128 YOLOv11 - C3K2 BlockYOLOv8과 v11는 여러개 차이점이 있지만, 그중에서도 이번에는 C3K2 Block의 구조와 output shape을 살펴볼 것이다.  아래 이미지가 C3K2 과정을 도식화 한 이미지이다.C3K2도 C2f와 유사한 형태를 가지고sims-solve.tistory.com지난번에는 YOLOv8과 달라진 부분인 C3K2 Block에 대해 알아보았다.이번에는 연장선으로 모델 중 한번만 거치는 블럭이지만, v11에 추가된 Block인 C2PSA를 살펴보도록 하겠다. 일단, C2PSA Block을 들어가기 전 input shape은 (1,256,8,8) 로 가정하겠다.위는 실제 C2PSA 코드이다. 어텐션 메커니즘을..

이번에는.. 어느 분야에나 적용되고 있는 Attention을 살펴보고자 한다! 조금 충격을 먹은게, GNN분야를 공부하는데, 튜토리얼에 Attention 개념이 나와서 충격받았다... 나름 생각한 것도 적어 놓을태니 Attention은 잘 살펴보길 바란다. 혹시, GCN, SAGE 공식 설명을 보지않은 분은 보고오는걸 추천한다.. 왜냐면.. 수식에 대한 거부감을 줄이기 위해....? https://sims-solve.tistory.com/70 GNN 수학식 뜯어보기 - 2. Graph SAGE이번 포스팅에서는 Graph SAGE라 불리는 layer는 어떻게 node를 업데이트 하는지 수식을 살펴보고자 한다. 혹시, GCN 수식을 보지 못한 사람은 첫번째 포스팅을 보고 수식에 대한 두려움을 없애고 오는si..