chatglm-cpp推理加速比transformer推理慢很多
luhairong11 opened this issue · comments
在使用chatglm-cpp推理加速时,比transformer推理慢很多,有人遇到过这个问题吗,采用的模型是codegeex2-6b-int4
CodeGeeX2: A More Powerful Multilingual Code Generation Model
luhairong11 opened this issue · comments
在使用chatglm-cpp推理加速时,比transformer推理慢很多,有人遇到过这个问题吗,采用的模型是codegeex2-6b-int4