模型并行训练结束后，如何将多个模型文件合并成一个？
sduhkn opened this issue · comments
通过change_mp.py 将10B模型拆封成N份，finetune之后得到N个部分模型文件，请问如何将N个部分模型文件合并，没找到这部分代码。
你好问下，change_mp.py怎么将10B模型拆封成N份，代码会报如下错误：
通过
change_mp.py将10B模型拆封成N份，finetune之后得到N个部分模型文件，请问如何将N个部分模型文件合并，没找到这部分代码。
请问这个解决了吗