[pytorch] gpu가 cpu보다 느리거나 같을 때.

Cifa10 예제를 하고 있었는데 gpu를 사용하면 cpu보다 시간이 더 오래 걸리는 현상을 발견했다.

 

이유를 먼저 말하자면, 모델의 파라미터가 너무적기 때문이다.

 

모델의 파라미터 수가 너무 적으면 연산이 그만큼 적어지고, GPU를 사용하나 CPU를 사용하나 큰 차이가 없게된다.

또, 데이터를 to(device)로 gpu로 보내기때문에 그만큼 +@ 시간이 추가 되어 GPU의 시간이 더 오래 걸릴 수도 있다..

 

그러니 혹시 gpu의 속도와 cpu의 속도가 비슷하다고 느껴진다면.. 모델의 복잡도를 한번 살펴보길 바란다.