GLM 10B 模型零样本结果无法对齐
LemonNoel opened this issue · comments
Noel commented
GLM 10B 模型在 Huggingface 上的 tokenizer 实现与 repo 中有 diff,直接调用 Huggingface 上的代码在 Lambada 和 Wikitext 数据集上测试无法得到 README 中的结果。
Huggingface 代码地址:https://huggingface.co/THUDM/glm-10b/blob/main/tokenization_glm.py