OpenBMB / CPM-Bee

百亿参数的中英文双语基座大模型

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

when run "python text_generation_hf.py", loading model was Killed

Dgreen2017 opened this issue · comments

ubuntu,显卡4090,显存24G,加载模型:cpm-bee-10b,执行“python text_generation_hf.py”时,程序在加载模型中被kill了,没有其他提示信息,是因为显存不够吗?torch版本:1.13.1+cu117

模型会先加载到内存上,然后放到GPU,所以您需要确保有至少20G内存