重新转换量化羊驼lora模型
ziwang-com opened this issue · comments
ggerganov/llama.cpp#323
重新生成模型 #323
普里诺瓦开始了这个对话 一般
重新生成模型
#323
@PriNova
普里诺瓦
on Mar 20 · 3 评论 · 4回复
返回页首
讨论选项
普里诺瓦
on Mar 20
现在使用合并的 PR https://github.com/ggerganov/llama.cpp/pull/252，我需要重新转换模型。
这是否意味着，我需要重新转换合并.0.pth 的基本模型，或者我也可以重新转换量化模型吗？
我目前正在使用 7B 羊驼 Lora 4bit 和 13B 羊驼 lora 型号 4bit，并希望继续使用它.
我没有资源来：
再次微调模型以与美洲驼一起使用.cpp
我也没有资源来量化大模型。
如果我能重新转换我的量化羊驼劳拉模型将是惊人的.
如果没有，这将是一个重大变化（因为数字nomade通常减慢wifi和有限的资源）
当有人可以澄清时，这将是惊人的。
谢谢
答复：3 评论 · 4回复
注释选项
j-f1
on Mar 20
合作者
您需要从 开始，然后转换为 GGML，然后再次量化生成的文件。.pth
1 回复
@PriNova
注释选项
普里诺瓦
on Mar 20
作者
好的， 这对我来说是一个重大变化， 因为我无法为 LoRa 训练.
与其将分词器分数存储到模型中，不如将分数存储在单独的文件中更有意义吗？
然后，该模型可以按原样使用，并且与令牌词汇分数没有直接依赖关系。
注释选项
鹦鹉螺
on Mar 20
@eiz制作了一个脚本，通过在标记器中与其权重合并来修补 ggml 模型：#324（评论）
3回复
@PriNova
注释选项
普里诺瓦
on Mar 20
作者
谢谢，我找到了它，它工作得很好
@j-f1
注释选项
j-f1
on Mar 21
合作者
请注意，我们将很快更新模型格式以允许即时加载，这将需要再次从文件重新生成（尽管不需要重新训练任何内容）。.pth
@PriNova
注释选项
普里诺瓦
on Mar 21
作者
请注意，我们将很快更新模型格式以允许即时加载，这将需要再次从文件重新生成（尽管不需要重新训练任何内容）。.pth
我是否正确理解它，它也适用于预训练的模型？
J-f1和Wingie用竖起大拇指的表情符号做出反应
注释选项
普里诺瓦
on Mar 21
作者
这是我在#324中发布的两个文件进行比较。
0回复