lyogavin / Anima

33B Chinese LLM, DPO QLORA, 100K context, AirLLM 70B inference with single 4GB GPU

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

关于对话模型是否能使用airllm

wzz981 opened this issue · comments

我看示例中加载的大模型都属于“base”模型,并没有加载“chat”模型的例子,如果能够使用的话可以提供一些例子吗,谢谢

inference的角度chat和base没有本质的区别的。base可以的话chat也可以的。