ziwang-com / zero-lora

zero零训练llm调参

Home Page:http://www.m-f.vip

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

lora矩阵相乘,相加等等:梯度视角下的LoRA:简介、分析、猜测及推广

ziwang-com opened this issue · comments

https://github.com/tic-top/MoreLoRA
更多lora
lora矩阵相乘,相加等等
梯度视角下的LoRA:简介、分析、猜测及推广

原始萝拉:

更好的初始化:

添加剂LoRA:

哪里和

哈达玛德·穆尔·洛拉:
哪里

,和

哈达玛德添加洛拉:
哪里

哈达玛德·洛拉:激活

迪洛拉:
随机更新一系列排名

更新部分图层