LoRA 应用于复合模型
ziwang-com opened this issue · comments
https://huggingface.co/digitous/13B-Chimera
13B-嵌合体
组成:
[] = 作为 LoRA 应用于复合模型 |() = 组合为复合模型
((MantiCore3E+VicunaCocktail)+[SuperCOT+[StorytellingV2+(SuperHOTProtoType-8192ctx+Metharme)]])
该模型是在语言模型和模型合并上实验性使用 LoRA 的结果,这些模型不是它们所针对的基本 HuggingFace 格式 LLaMA 模型。期望的结果是累加应用所需的特征,而不会矛盾地淡化模型的有效行为。
潜在的限制 - 相互叠加的 LoRA 可能会相互竞争.
主观结果 - 非常有希望。需要进一步的实验测试和客观测试。
指导和设置建议:
羊驼指示经过验证的工作,骆马指示格式应该有效。如果使用 KoboldAI 或 Text-Generation-WebUI,建议在 Godlike 和 Storywriter 预设之间切换,并调整输出长度 + 内存中的指令。其他预设以及自定义设置可能会产生截然不同的结果,尤其是温度。如果用棍子戳它不起作用,请尝试另一根棍子。
语言模型和 LoRA 使用的学分:
manticore-13b [Epoch3] by openaccess-ai-collective
https://huggingface.co/openaccess-ai-collective/manticore-13b
骆马-13b-鸡尾酒再教育者
https://huggingface.co/reeducator/vicuna-13b-cocktail
SuperCOT-LoRA [13B] by kaiokendev
https://huggingface.co/kaiokendev/SuperCOT-LoRA
Storytelling-LLaMa-LoRA [13B, Version 2] by GamerUnTouch
https://huggingface.co/GamerUntouch/Storytelling-LLaMa-LoRAs
SuperHOT Prototype [13b 8k ctx] by kaiokendev
https://huggingface.co/kaiokendev/SuperHOT-LoRA-prototype
Metharme 13b by PygmalionAI
https://huggingface.co/PygmalionAI/metharme-13b
也感谢 Meta 的 LLaMA。
每个模型和 LoRA 都经过精心挑选并考虑它可以为这个合奏做出什么贡献.感谢你们每个人的令人难以置信的工作,为这个社区开发了一些最好的东西。