请问ddp模式的如何分布式导入模型？

[bai1451746927]

我使用
model = ChatGLMForConditionalGeneration.from_pretrained(
model_name, load_in_8bit=False, trust_remote_code=True
)
model=DDP(model.cuda(), device_ids=[2])
结果报错内存溢出，判断应该是一个模型在显卡里加载了两遍，请问如何处理

[liangwq]

我使用 model = ChatGLMForConditionalGeneration.from_pretrained( model_name, load_in_8bit=False, trust_remote_code=True ) model=DDP(model.cuda(), device_ids=[2]) 结果报错内存溢出，判断应该是一个模型在显卡里加载了两遍，请问如何处理

直接用deepspeed配置文件，理解下每个参数