模型怎么合并也不说清楚，跑不起来啊
tianchaolangzi opened this issue · comments
+1
就是很常规的办法，看看config文件就明白了
比如ChatLaw-13B说了是在姜子牙模型基础上训练的，而从文件列表的config里面能看出来是lora微调的，用peft加载一下就行了。
第一步 搞到一个llama-13B模型
第二步 下载IDEA-CCNL/Ziya-LLaMA-13B-v1，并根据其README里面指导合成最终的Ziya-LLaMA-13B-v1模型。
第三部 下载JessyTsu1/ChatLaw-13B，用peft加载lora模型的方式加载Ziya-LLaMA-13B-v1和ChatLaw-13B就行了。
就是很常规的办法，看看config文件就明白了 比如ChatLaw-13B说了是在姜子牙模型基础上训练的，而从文件列表的config里面能看出来是lora微调的，用peft加载一下就行了。 第一步 搞到一个llama-13B模型 第二步 下载IDEA-CCNL/Ziya-LLaMA-13B-v1，并根据其README里面指导合成最终的Ziya-LLaMA-13B-v1模型。 第三部 下载JessyTsu1/ChatLaw-13B，用peft加载lora模型的方式加载Ziya-LLaMA-13B-v1和ChatLaw-13B就行了。
但是合并完跑不出成型的结果，要么是unk，要么是很短的回答，还不如原生的ziya v1
就是很常规的办法，看看config文件就明白了 比如ChatLaw-13B说了是在姜子牙模型基础上训练的，而从文件列表的config里面能看出来是lora微调的，用peft加载一下就行了。 第一步 搞到一个llama-13B模型 第二步 下载IDEA-CCNL/Ziya-LLaMA-13B-v1，并根据其README里面指导合成最终的Ziya-LLaMA-13B-v1模型。 第三部 下载JessyTsu1/ChatLaw-13B，用peft加载lora模型的方式加载Ziya-LLaMA-13B-v1和ChatLaw-13B就行了。
但是合并完跑不出成型的结果，要么是unk，要么是很短的回答，还不如原生的ziya v1
我这边结合之后似乎是正常的，包括我对ziya模型做了4bit量化之后再结合chatlaw的lora之后输出结果也是正常的。
就是很常规的办法，看看config文件就明白了 比如ChatLaw-13B说了是在姜子牙模型基础上训练的，而从文件列表的config里面能看出来是lora微调的，用peft加载一下就行了。 第一步 搞到一个llama-13B模型 第二步 下载IDEA-CCNL/Ziya-LLaMA-13B-v1，并根据其README里面指导合成最终的Ziya-LLaMA-13B-v1模型。 第三部 下载JessyTsu1/ChatLaw-13B，用peft加载lora模型的方式加载Ziya-LLaMA-13B-v1和ChatLaw-13B就行了。
请问有 config 文件以及 llama-13B 模型权重嘛？跪求，非常感谢！！
就是很常规的办法，看看config文件就明白了 比如ChatLaw-13B说了是在姜子牙模型基础上训练的，而从文件列表的config里面能看出来是lora微调的，用peft加载一下就行了。 第一步 搞到一个llama-13B模型 第二步 下载IDEA-CCNL/Ziya-LLaMA-13B-v1，并根据其README里面指导合成最终的Ziya-LLaMA-13B-v1模型。 第三部 下载JessyTsu1/ChatLaw-13B，用peft加载lora模型的方式加载Ziya-LLaMA-13B-v1和ChatLaw-13B就行了。
May I ask which model is the full name of the llama model?