이번에는.. 어느 분야에나 적용되고 있는 Attention을 살펴보고자 한다! 조금 충격을 먹은게, GNN분야를 공부하는데, 튜토리얼에 Attention 개념이 나와서 충격받았다... 나름 생각한 것도 적어 놓을태니 Attention은 잘 살펴보길 바란다. 혹시, GCN, SAGE 공식 설명을 보지않은 분은 보고오는걸 추천한다.. 왜냐면.. 수식에 대한 거부감을 줄이기 위해....? https://sims-solve.tistory.com/70 GNN 수학식 뜯어보기 - 2. Graph SAGE이번 포스팅에서는 Graph SAGE라 불리는 layer는 어떻게 node를 업데이트 하는지 수식을 살펴보고자 한다. 혹시, GCN 수식을 보지 못한 사람은 첫번째 포스팅을 보고 수식에 대한 두려움을 없애고 오는si..
이번 포스팅에서는 Graph SAGE라 불리는 layer는 어떻게 node를 업데이트 하는지 수식을 살펴보고자 한다. 혹시, GCN 수식을 보지 못한 사람은 첫번째 포스팅을 보고 수식에 대한 두려움을 없애고 오는 것을 추천한다.! https://sims-solve.tistory.com/69 GNN 수학식 뜯어보기 - 1. GCN GNN을 공부하다 보면 반드시 접하게 되는 3가지 레이어가 있다. 1. GCN 2. Graph SAGE 3. GAT(Graph Attation) 공부를 하다보면.. 수학식이 나오면 뭔가 좌절감이 들고 못할 것만 같은 생각이 드는데, 이번 기 sims-solve.tistory.com 간단하게 Graph SAGE내용을 이야기 하고 들어가보자. GNN,GCN의 경우에는 노드들의 fea..
GNN을 공부하다 보면 반드시 접하게 되는 3가지 레이어가 있다. 1. GCN 2. Graph SAGE 3. GAT(Graph Attation) 공부를 하다보면.. 수학식이 나오면 뭔가 좌절감이 들고 못할 것만 같은 생각이 드는데, 이번 기회를 통해 수학식을 천천히 어떤 뜻을 내포하고 있는지 살펴보고자 한다. 첫번째 내용은 GCN이다. GCN은 Graph Convolution Network, CNN 필터 개념(weigth 공유 개념)을 한번쯤은 접해 봤을것이다. CNN의 개념을 GNN에 활용했다고 생각해도 무방하다. 일단 GCN 이전 GNN에서 노드를 업데이트 할때 사용한 공식을 한번 봐보자. 위 공식은 단순 GNN에서 노드를 업데이트 하는 방식이다. 일단 이 공식부터 한번 살펴보기로 하자. 이처럼 식을..
GNN을 공부하면 GCN, Graph SAGE, GAT(Graph attention)의 이야기를 안들어 볼 수 없다. 이 셋중 DGL 라이브러리의 SAGEConv 레이어가 어떻게 작동하는지 간단한 예제를 통해 공부한 것을 설명해보고자 한다. 예제는 SAGEConv 코드를 보면 제공해주는 코드를 사용하고자 한다. 그 전에 간단하게 GNN에 대해 설명해보고자 한다. 실생활에서 그래프를 그린다고 한다면, 위와 같이 그릴 수 있을 것이다. GNN은 그래프에 feature를 추가하고, 주어진 feature 사용해 모델을 생성하여 문제를 푼다. 위 그림에는 6개의 Node, Edge, Feature을 그림으로 그려놓았다. 밑에 SAGEConv에서 주는 간단 코드를 봐보자. import dgl import numpy..
aifactory에서 진행하고 있는 graph 러닝 해커톤에 참여하여 GNN을 접하게 됐다. https://aifactory.space/competition/detail/2106 [Space-S x KaKR] 그래프 러닝 및 해커톤 aifactory.space 막상.. CNN,RNN과는 전혀 다른 분야라 어렵게만 느껴진다.. 일단, DGL이라는 그래프 관련 라이브러리가 따로 존재하여, 다시 처음부터 공부를 하는 느낌이 든다... 그럼, GNN이 무엇일까..? 알고리즘을 공부해봤다면 BFS/DFS를 들어봤을 것이다. 해당 알고리즘을 풀기위해선, 밑에와 같이 경로를 matrix로 표현하여 문제를 푼다. GNN을 사용하고자 하는 테스크는 위처럼, 관계가 있을 경우 사용한다고 생각하면 된다. 가장 대표적인 예시..
딥러닝은 자유롭게 모델을 만들어 사용할 수 있기에, 목표에 따라 모델의 형태가 많이 다르게 된다. https://www.asimovinstitute.org/neural-network-zoo/ The Neural Network Zoo - The Asimov Institute With new neural network architectures popping up every now and then, it’s hard to keep track of them all. Knowing all the abbreviations being thrown around (DCIGN, BiLSTM, DCGAN, anyone?) can be a bit overwhelming at first. So I decided to compo..
데이터 링크 계층에서 전송데이터를 프레임이라는 작은 단위로 나누어 처리한다. 이때, 체크섬, 송수신 호스트 주소, 제어코드 같은 정보를 포함하게 됨. 체크섬 > 상위계층으로 부터 전송 받은 데이터에 오류를 확인하기 위한 것. 프레임의 종류에는 내부 정보를 표현하는 방식 차이에 따라 1.문자 프레임, 2.비트 프레임으로 구분된다. 1. 문자 프레임 문자 프레임은, 프레임의 내용이 문자로 구성되어 있어 '문자 데이터'를 전송할 때 사용한다. 문자 프레임은 8비트단위 or ACSII 문자코드의 고정 크기로 동작한다. 하나의 프레임을 구분하기 위해, 데이터 양 끝에 ASCII코드 특수 문자를 이용하여 사용한다. 위 사진처럼 데이터 앞에서는 DLE,STX / 뒤에는 DLE/ETX를 추가하여 다른 프레임과 구분 할..
- Total
- Today
- Yesterday
- 초보자
- GIT
- docker
- Tree
- DT
- 깃
- 입출력
- 입력
- 파이썬
- gbm
- 도커
- CNN
- 설치
- python
- 이미지
- 정리
- 자바
- 뜯어보기
- 딥러닝
- boosting
- java
- Flask
- 삭제
- GPU
- 계산
- DeepLearning
- GNN
- torch
- github
- 오류
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |