关于多卡训练

[guijuzhejiang]

现在的代码只支持单卡训练，为了改成多GPU并行训练，加了DistributedDataParallel。报错
RuntimeError: grad can be implicitly created only for scalar outputs
好像是loss.backward()的错误
请问有尝试修改代码做多GPU训练吗？

[guijuzhejiang]

我把原来的total_loss += loss.item()改成total_loss += loss.mean()，是可以跑起来了。

[zhaohu xing]

好嘞，多卡我还没了解，多谢您的尝试！

[Wang Huijuan]

我把原来的total_loss += loss.item()改成total_loss += loss.mean()，是可以跑起来了。

您好！因为显存限制，我也想尝试使用多卡来运行代码，但我自己的尝试失败了，所以想请问您这边的代码实现可以分享一下吗？非常感谢！