最近在训练imagenet，苦恼于训练速度总是不高。数据已经采用jpeg的rec。配置7个RTX TITIAN。使用SSD，测试读能到300m/s(用hdparam测试的)。内存不够大，不能都放进去。
- 尝试了gluon cv里训练imagenet的程序，dali-gpu加上rec，能在700sample/s。
- 限制我的好像不是gpu。我使用4个GPU速度达到最快。
- 采用dali+jpeg 。缓存中的数据，最快能达到2000sample/s。这是不是就是我的上线了？？
使用iotop查看硬盘读写60M/s,
我使用你的程序，速度也是在700+。
想请问下你的实际速度，可以达到2w？？有什么提高速度的trick吗？？
最近在训练imagenet，苦恼于训练速度总是不高。数据已经采用jpeg的rec。配置7个RTX TITIAN。使用SSD，测试读能到300m/s(用hdparam测试的)。内存不够大，不能都放进去。
使用iotop查看硬盘读写60M/s,
我使用你的程序，速度也是在700+。
想请问下你的实际速度，可以达到2w？？有什么提高速度的trick吗？？