Giters

THUDM / CodeGeeX2

CodeGeeX2: A More Powerful Multilingual Code Generation Model

Home Page:https://codegeex.cn

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

chatglm-cpp推理加速比transformer推理慢很多

luhairong11 opened this issue · comments

commented

在使用chatglm-cpp推理加速时，比transformer推理慢很多，有人遇到过这个问题吗，采用的模型是codegeex2-6b-int4