Giters

THUDM / CodeGeeX2

CodeGeeX2: A More Powerful Multilingual Code Generation Model

Home Page:https://codegeex.cn

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

非量化版本的codegeex2-6B，16GB显存下最大推理的max_new_tokens约为多少？微调后经常推着推着就OOM了

CatYing opened this issue · comments

commented

as topic
temperature=0.2, max_new_tokens=4097

commented

求问 怎么微调的，是用的chatglmv2的代码进行微调的吗？