【深度学习】踩坑日记：模型训练速度过慢，GPU利用率低

一般来说训练模型都是使用服务器，造成对代码运行的情况了解不具体，很容易造成某个地方成为瓶颈使显卡利用率不高，训练速度贼慢。

在数据加载部分需要注意用batchsize控制GPU内存利用率 num_workers控制GPU不要空着没数据，特别是batchsize比较大的时候，一定记得把num_workers开大，让他能循环的续上数据，还有就是pin_memory能开就开。

DataLoader(train_set, batch_size=batch_size, num_workers=num_workers, pin_memory=True, shuffle=False, sampler=train_sampler)