accelerate 找不到模型

[Yata]

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
from accelerate import Accelerator
accelerator = Accelerator()
tokenizer = AutoTokenizer.from_pretrained("glm-large-chinese", trust_remote_code=True)
model = AutoModelForSeq2SeqLM.from_pretrained("glm-large-chinese", trust_remote_code=True)
model  = accelerator.prepare(model)

我将glm-large-chinese下载到当前目录下，单卡情况使用python test.py可以正常load，
如果使用accelerator launch test.py 就无法正常运行，保错如下：

ModuleNotFoundError: No module named 'transformers_modules.glm-large-chinese.tokenization_glm'
FileNotFoundError: [Errno 2] No such file or directory: '/root/.cache/huggingface/modules/transformers_modules/glm-large-chinese/modeling_glm.py'

请教一下这是什么问题？

[wushuang]

同样的问题。似乎THUDM/* 一系列模型都这样，试了下最新的chatGLM也是

[Yu]

不要用AutoModel类来加载，试试里面modeling_glm的GLMForConditionalGeneration

[Yata]

@taofennanhai 感谢你的回答！想请问一下，Model是什么库

[Yu]

不是库，是整个模型的那个文件夹名称

[Yata]

@taofennanhai 可以了，感恩的心！

[wushuang]

在使用glm-2b 和deepspeed + accelerate的时候，无论是inference还是training都遇到这个问题，但是不使用deepspeed就正常（只能inference，training显存不够），请问有可能是什么原因呢？

[beginOfAll]

@taofennanhai 感恩！折腾我好几天都问题，终于解决了！