如何能够用自己的数据训练一个更小的聊天模型，不用7B那么大的模型？
LMR2018 opened this issue · comments
如何能够用自己的数据训练一个更小的聊天模型，不用7B那么大的模型？
如果我想训练自己的数据，某一行业的就够了，数据量几十万，能不能训练出一个比7B更小的模型出来？
如果我想训练自己的数据，某一行业的就够了，数据量几十万，能不能训练出一个比7B更小的模型出来？
参数少了，智能化大概率就弱了， 你可以用 1-3B 小模型微调试试
如果我想训练自己的数据，某一行业的就够了，数据量几十万，能不能训练出一个比7B更小的模型出来？
几十万数据量偏小，建议是基于预训练模型通过微调的方式去做，如果机器资源足够可以用我们的模型进行尝试下