ztxz16 / fastllm

纯c++的全平台llm加速库,支持python调用,chatglm-6B级模型单卡可达10000+token / s,支持glm, llama, moss基座,手机端流畅运行

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

目前PEFT仅支持chatglm,什么时候可以支持其他模型,比如baichuan2呢?或者需要改哪些地方,很乐意contribute。

jiahuanluo opened this issue · comments

请问大佬,什么时候可以支持baichuan2+peft的加速呢?或者需要改哪些地方实现支持其他模型呢?

你好!您可以参考 ec31a68 中对chatglm.cpp的修改,修改llama.cpp的相应部分。