请问大佬是否有计划可以支持下qlora?
wuzechuan opened this issue · comments
wuzechuan commented
如题,前阵看篇论文有提供qlora的效果也是不差的,训练的成本可以进一步降低。不知道大佬是否有计划可以顺便支持下这个训练方式
Chengxi Guo commented
我印象中用qlora只需要把bitsandbytes更新下,开启load_it_4bit=True
就可以
基于ChatGLM-6B + LoRA的Fintune方案
wuzechuan opened this issue · comments
如题,前阵看篇论文有提供qlora的效果也是不差的,训练的成本可以进一步降低。不知道大佬是否有计划可以顺便支持下这个训练方式
我印象中用qlora只需要把bitsandbytes更新下,开启load_it_4bit=True
就可以