用自己的数据完成pretrain后，怎样运行pretrain 的model
whl120901318 opened this issue · comments
Model description
用自己的数据完成pretrain后，怎样运行pretrain 的model
Open source status
- The model implementation is available
- The model weights are available
Provide useful links for the implementation
No response
还是使用generate.py文件
老师您好：
是的，还是使用generate.py文件调用模型，具体调用过程：将预训练过程产生的pytorch_model.bin文件拷贝到Aquila-7b模型文件中，替换掉Aquila-7b中原本的pytorch_model.bin，然后运行generate.py文件。
老师，这样的调用新模型的方法是否正确？有没有其他的调用新模型的方法？预训练过程中产生的pytorch_model.bin.optim.0这个文件有什么作用？pytorch_model.bin.optim.0这个文件占据大量存储空间。
另外，还有一个疑问，预训练所用的数据集必须要转换成二进制格式吗？不能用大量txt文件进行预训练吗？如果可以用txt需要怎样修改源码哪里？
麻烦老师多多指教
…------------------ 原始邮件 ------------------
发件人: "FlagAI-Open/FlagAI" ***@***.***>;
发送时间: 2023年7月17日(星期一) 下午3:20
***@***.***>;
***@***.******@***.***>;
主题: Re: [FlagAI-Open/FlagAI] 用自己的数据完成pretrain后，怎样运行pretrain 的model (Issue #502)
还是使用generate.py文件
—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you authored the thread.Message ID: ***@***.***>
optim这个是保存的optimizer信息，只对继续预训练会产生影响，推理不会