Pytorch Dataloader加速-解决方案

282 阅读1分钟

下述解决方案均亲测有效:

若有其他好的方法,欢迎评论补充,大家一同交流~

先排查: 细分一下Dataloader里的速度

dataset 的 get_item有没更快的读取接口或者数据预处理;2. 增大dataloader的num_workers

  1. dataloader.py中pin_memory设置成True,shuffle设置成True
  2. num_workers设为0,指定gpu运行【具体可参考】
import os
os.environ["CUDA_VISIBLE_DEVICES"] = "0"
  1. 如果过慢也可能是环境io的问题(但是一般的服务器io也不会太差🐶)