LoRA 用于培训多语言教学

[www.ziwang.com]

https://github.com/KohakuBlueleaf/guanaco-lora

瓜纳科-洛拉： LoRA 用于培训多语言教学 - 基于 LLaMA 的 LM
🤗 在此处试用预训练模型
这个存储库是从 alpaca-lora 分叉的， 并引入了一种方法来训练更多模块，如嵌入/头与 lora.

使用训练有素的嵌入和头部，您可以在多语言性能上获得更好的结果。