多卡训练超时问题

[ljiqy]

用2张A800卡跑训练，出现卡住不动的问题，等待一段时间报错，请问这是什么原因

[gobigrassland]

看看Dataset这块，如果某一步，每张卡上batch数量不一致，就会导致上述问题。