以交互方式将加载的模型导出到二进制文件
ziwang-com opened this issue · comments
ggerganov/llama.cpp#904
对于 https://github.com/ggerganov/llama.cpp/pull/820，加载的模型可能与基本模型不同。能够以交互方式将当前加载的模型导出到 binfile 是有意义的。
特别是如果允许线性插值多个 LoRA 文件的选项 - 即 LoRA 调酒学以获得独特的 LLM 个性.
@MillionthOdin16
百万之奥丁16评论 on Apr 12
如果您熟悉 loras 的混合，我认为如果您可以在上面链接一些资源，这对这里的很多人都会有所帮助。我听说你可以做一些很酷的事情，但我不是很熟悉。
@jon创
贡献
作者
钟创评论 on Apr 12 •
我不是那么熟悉，它只是我突然想到了一种可能性。
基本模型和 LoRA 之间的线性插值已经是一个标准功能： https://huggingface.co/docs/diffusers/main/en/training/lora
Anw，线性插值在这里跟踪：ggerganov/llama.cpp#905
此问题是关于将加载（和修改，例如微调）模型导出到 binfile。
Hey Ziwanag! I really think that this is a good idea. I'm going to corral some folks (and myself) to prototype this under ggerganov/llama.cpp#905