大型语言模型的低秩适应 （LoRA）

[www.ziwang.com]

https://huggingface.co/docs/diffusers/main/en/training/lora
目前， LoRA 仅支持 .我们还支持在有限的容量内使用 LoRA 微调 DreamBooth 的文本编码器。微调 DreamBooth 的文本编码器通常会产生更好的结果，但它会增加计算使用率。UNet2DConditionalModel

大型语言模型的低秩适配 （LoRA） 是一种训练方法，可在消耗更少内存的同时加速大型模型的训练。它将秩分解权重矩阵（称为更新矩阵）对添加到现有权重，并且仅训练那些新添加的权重。这有几个优点：

先前的预训练权重保持冻结，因此模型不容易发生灾难性遗忘。
秩分解矩阵的参数明显少于原始模型， 这意味着经过训练的 LoRA 权重易于移植.
LoRA 矩阵通常添加到原始模型的注意力层中.🧨 扩散器提供了 load_attn_procs（） 方法将 LoRA 权重加载到模型的注意力层中.您可以通过参数控制模型适应新训练图像的程度。scale
更高的内存效率使您可以在特斯拉T4，RTX 3080甚至RTX 2080 Ti等消费级GPU上运行微调！像T4这样的GPU是免费的，可以在Kaggle或Google Colab笔记本中轻松访问。