C++ implementation of ChatGLM-6B & ChatGLM2-6B & ChatGLM3 & GLM4
Geek Repo:Geek Repo
Github PK Tool:Github PK Tool
GTJoey opened this issue 5 months ago · comments
机器配置i7-12700F,3060显卡12GB显存,64GB 内存。
可以先观察下推理的时候到底用的CPU还是GPU