lora矩阵相乘,相加等等:梯度视角下的LoRA:简介、分析、猜测及推广
ziwang-com opened this issue · comments
https://github.com/tic-top/MoreLoRA
更多lora
lora矩阵相乘,相加等等
梯度视角下的LoRA:简介、分析、猜测及推广
原始萝拉:
和
更好的初始化:
添加剂LoRA:
哪里和
哈达玛德·穆尔·洛拉:
哪里
,和
哈达玛德添加洛拉:
哪里
哈达玛德·洛拉:激活
迪洛拉:
随机更新一系列排名
更新部分图层