Giters

lyogavin / Anima

33B Chinese LLM, DPO QLORA, 100K context, AirLLM 70B inference with single 4GB GPU

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

似乎只能产生很少的字符

andeyeluguo opened this issue · comments

commented

好像只能产生几个字符,再多的话花费时间太久了

commented

只能说可以体验下

commented

长度多少都可以 速度的话肯定不快

需要快的话 还是得比较强的GPU

不是为实时的场景设计的 比较适合不需要实时响应的场景。比如一些离线数据分析的场景，比如我们有一些场景可以跑一晚上出结果就行。