LoRA训练和推理精度问题
LiuuHuanChang opened this issue · comments
请问有人用float16精度训练过LoRA吗，推理用bfloat会不会影响推理效果。当前训练精度用的float16，但推理由于总是OOM所以只能用bf来推，但是现在推理效果上看感觉完全没训练进去，不知道是训练的问题还是推理load模型的问题。
I think that float16 and bfloat16 should take about the same memory. Do you happen to have the difference in memory after loading the model in the two precisions?
bf16和fp16在内存占用上都是16位，正常来说，它俩占用的内存是一样的