目前PEFT仅支持chatglm,什么时候可以支持其他模型,比如baichuan2呢?或者需要改哪些地方,很乐意contribute。
jiahuanluo opened this issue · comments
请问大佬,什么时候可以支持baichuan2+peft的加速呢?或者需要改哪些地方实现支持其他模型呢?
纯c++的全平台llm加速库,支持python调用,chatglm-6B级模型单卡可达10000+token / s,支持glm, llama, moss基座,手机端流畅运行
jiahuanluo opened this issue · comments
请问大佬,什么时候可以支持baichuan2+peft的加速呢?或者需要改哪些地方实现支持其他模型呢?