Giters

ztxz16 / fastllm

纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

fastllm是否支持使用bitsandbytes量化的chatglm3-6b-base int4模型

levinxo opened this issue · comments

commented

目前使用torch2flm脚本转换chatglm3-6b-base int4模型，会产生20多G的.flm文件。
请问是否支持直接将int4量化的chatglm3-6b-base模型转为flm文件并推理？