THUDM / GLM

GLM (General Language Model)

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

GLM 10B 模型零样本结果无法对齐

LemonNoel opened this issue · comments

commented

GLM 10B 模型在 Huggingface 上的 tokenizer 实现与 repo 中有 diff,直接调用 Huggingface 上的代码在 Lambada 和 Wikitext 数据集上测试无法得到 README 中的结果。

Huggingface 代码地址:https://huggingface.co/THUDM/glm-10b/blob/main/tokenization_glm.py