请问大佬是否有计划可以支持下qlora？

[wuzechuan]

如题，前阵看篇论文有提供qlora的效果也是不差的，训练的成本可以进一步降低。不知道大佬是否有计划可以顺便支持下这个训练方式

[Chengxi Guo]

我印象中用qlora只需要把bitsandbytes更新下，开启load_it_4bit=True就可以