glm-10b-chinese原始模型推理报错

[Mryangkaitong]

我的代码如下：
`from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
tokenizer = AutoTokenizer.from_pretrained("THUDM/glm-10b-chinese", trust_remote_code=True)
model = AutoModelForSeq2SeqLM.from_pretrained("THUDM/glm-10b-chinese", trust_remote_code=True)
model = model.half().cuda()
model.eval()
prompt = """Human: 以下是**关于high_school_chinese考试的单项选择题，请选出其中的正确答案。

下列各句中，没有语病的一项是____

A. 2019 年，“我太难了”突然成了网红金句，这句话蕴含着那么多的无奈、自嘲与顾影自怜，却又流露出大时代考验下不服输、不放弃的生动脸庞。
B. 金庸先生之所以在众多武侠作家中独具一格，高出一筹，是因为金庸的小说生长在**传统土壤中，是“最**”的小说的缘故。
C. 由网络小说改编影视剧，逐渐开启了与游戏、动漫的联动，为影视剧的跨产业传播提供了参考和经验，也为“国风汉韵”的跨产业传播提供了可能性。
D. 疫情防控期间，群众积累了巨大的消费需求，比如对健康生活相关产品与服务的需求、对线上服务的需求等，这些需求一经释放，必将形成新的产业牵引力。
Assistant: 答案：D
Human: 文中划线处选填哪项最恰切____
____，崖壁下有几处坟地，坟前立着的石碑许多已经破碎，字迹模糊；枯水季节，伏在江里的石头已经露出水面，周围一片寂静。

A. 一列青黛崭削的石壁夹江高矗，被夕阳烘炙成一道五彩的屏障
B. 没有太阳，天气相当冷，藤萝叶子多已萎落，显得这一带崖壁十分瘦削
C. 在夕阳照射下，枯草和落叶闪着不定的光，崖壁像一道巨大的屏障，矗立在江对岸
D. 一行白帆闪着透明的羽翼，从下游上来，山门半掩，一道阳光射在对岸的崖壁上
Assistant: 答案：B
Human: 下列各句中，标点符号使用正确的一句是____

A. 我国月球探测工程将分三步实施：一是“绕”，即卫星绕月飞行；二是“落”，即探测装置登上月球；三是“回”，即采集月壤样品返回地球。
B. 我国第一座自主设计、自行建造的国产化商业核电站“秦山第二核电厂”的2号机组核反应堆首次临界试验获得成功，将于年内并网发电。
C. 近年来，随着经济的发展，城市的扩大，人口的猛增和生活质量的提高，城市垃圾不断增加，“城市垃圾处理”已成为环境保护的一大难题。
D. 《地质灾害防治条例》正式确立了：“自然因素造成的地质灾害，由各级政府负责治理；人为因素引发的地质灾害，谁引发谁治理”的原则。
Assistant: 答案：A
Human: 填入下面横线处的句子，与下文衔接最恰当的一项是____
____。曹雪芹还没有来得及张扬就已辞世，其未完成的作品成了大作品；仙逝不久的钱钟书先生生前躲进小楼成一统，从不爱张扬，却取得了大成就，被公认为学界泰斗。乾隆皇帝最爱张扬，所到之处必御笔题字，“结集出版”的诗集比“李杜”的还厚，结果怎么样呢?世人自然明晓。

A. 大人物、大名声不是张扬出来的，张扬出来的大人物不是真正的大人物
B. 张扬出来的大人物不是真正的大人物，大人物、大名声不是张扬出来的
C. 大作家、大作品不是张扬出来的，张扬出来的大作家不是真正的大作家
D. 张扬出来的大作家，不是真正的大作家，大作家、大作品不是张扬出来的
Assistant: 答案：C
Human: 下列句子中，没有语病、句意明确的一项是____

A. 王老师是前天才调到我们学校的，许多老师还不认识。
B. 成熟苹果的下坠，是由于地球对它的引力作用。
C. 许多不明真相的群众被这伙制造伪劣产品的人挑动，设置重重障碍，围攻、阻止工商管理人员正常执行公务。
D. 科学家在对流行病进行分析和动物实验后指出，大量饮酒精配制的饮料与癌症的发生有密切的关系。
Assistant: 答案：B
Human: 下列各句标点符号使用合乎规范的一项是____

A. 对李清照的诗，比之那“寻寻觅觅，冷冷清清，凄凄惨惨戚戚”的哀怨，我倒更喜欢她的“生当作人杰，死亦为鬼雄”的刚烈。
B. 昨日，武汉工业学院三名学生宣布：他们经过连续奋战，已经找到了三种简便快速检测奶粉中是否含有三聚氰胺的办法，可见普通市民也可以自己动手检测奶粉中有无三聚氰胺。
C. 为给地铁2号线和4号线让路，武汉市最大的广场——洪山广场将被拆除重建的消息传出后，许多人都非常关心未来的广场将怎么建？那里的几百株树木将怎么办？
D. “绿动未来2008”环保方案评选活动开展以来，大赛组委会征集到高质量参赛方案367份，内容涉及新能源、新材料的开发与利用、发展绿色经济、环境保护和生态治理新技术等诸多方面。
Assistant: 答案：
"""
inputs = tokenizer(prompt+"[MASK]", return_tensors="pt")
print(inputs)
inputs = tokenizer.build_inputs_for_generation(inputs, max_gen_length=1024)
#inputs = {key: value.cuda() for key, value in inputs.items()}
inputs.to('cuda')
outputs = model.generate(**inputs, max_new_tokens=5, eos_token_id=tokenizer.eop_token_id)
output = tokenizer.decode(outputs[0].tolist())
output = output.split("<|endoftext|> <|startofpiece|>")[1].replace("<|endofpiece|>", "")
print(output)`

模型报错如下：