li-plus / chatglm.cpp

C++ implementation of ChatGLM-6B & ChatGLM2-6B & ChatGLM3 & GLM4

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

运行chatglm3-6b-ggml int4量化模型,采用clblast加速反而比cpu加速慢很多,正常吗?

GTJoey opened this issue · comments

机器配置i7-12700F,3060显卡12GB显存,64GB 内存。

机器配置i7-12700F,3060显卡12GB显存,64GB 内存。

可以先观察下推理的时候到底用的CPU还是GPU