[Question]: 如何进行模型并行训练
kunden0612 opened this issue · comments
Description
一张卡不足加载glm-10b的模型，如何进行多卡训练
Alternatives
No response
使用并行框架，比如bmtrain，deepspeed等。可以参考相关的例子。
先关闭issue，如有问题请重新打开，谢谢
FlagAI-Open / FlagAI
FlagAI (Fast LArge-scale General AI models) is a fast, easy-to-use and extensible toolkit for large-scale model.