33B Chinese LLM, DPO QLORA, 100K context, AirLLM 70B inference with single 4GB GPU
Geek Repo:Geek Repo
Github PK Tool:Github PK Tool
wzz981 opened this issue 5 months ago · comments
我看示例中加载的大模型都属于“base”模型,并没有加载“chat”模型的例子,如果能够使用的话可以提供一些例子吗,谢谢
inference的角度chat和base没有本质的区别的。base可以的话chat也可以的。