能用llama.cpp 4位量化 出来跑跑嘛
cgisky1980 opened this issue · comments
顾真牛 commented
没GPU T_T
mabaochang commented
我们正在研发量化功能,将大大降低推理的硬件需求,预计本周发布
Xiangang Li commented
量化模型已经发布,见README.md
BELLE: Be Everyone's Large Language model Engine(开源中文对话大模型)
cgisky1980 opened this issue · comments
没GPU T_T
我们正在研发量化功能,将大大降低推理的硬件需求,预计本周发布
量化模型已经发布,见README.md