Huatuo-13B
ihongxx opened this issue · comments
请问一下在加载13B模型需要多大的显存呢？我是用24G显存在AutoModelForCausalLM.from_pretrained加载模型时直接killed了，但是查看显存当时显存还未占用，请问这是什么原因？谢谢
你好，13B的模型至少需要26G的空间装下模型，所以24G的显存可能不行，你可以试试7B的模型。
好的，谢谢
请问一下在加载13B模型需要多大的显存呢？我是用24G显存在AutoModelForCausalLM.from_pretrained加载模型时直接killed了，但是查看显存当时显存还未占用，请问这是什么原因？谢谢
请问你是在什么环境下apply_delta的呢，我这边总是报
If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True.