Huatuo-13B
ihongxx opened this issue · comments
请问一下在加载13B模型需要多大的显存呢?我是用24G显存在AutoModelForCausalLM.from_pretrained加载模型时直接killed了,但是查看显存当时显存还未占用,请问这是什么原因?谢谢
你好,13B的模型至少需要26G的空间装下模型,所以24G的显存可能不行,你可以试试7B的模型。
好的,谢谢
请问一下在加载13B模型需要多大的显存呢?我是用24G显存在AutoModelForCausalLM.from_pretrained加载模型时直接killed了,但是查看显存当时显存还未占用,请问这是什么原因?谢谢
请问你是在什么环境下apply_delta的呢,我这边总是报
If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True.