li-plus / chatglm.cpp

C++ implementation of ChatGLM-6B & ChatGLM2-6B & ChatGLM3 & GLM4

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

上下文推理时速度会变慢,请问应该怎么解决?

youranjvshi123 opened this issue · comments

模型转换的是q4_0的,在执行examples/cli_demo.py -m chatglm-ggml.bin -i 时,从第二轮对话开始推理速度就会变的越来越慢,请问应该怎么解决?

so eazy ! 优化下代码就行了

so eazy ! 优化下代码就行了

大神,请问代码应该怎么优化?