liangwq / Chatglm_lora_multi-gpu

chatglm多gpu用deepspeed和

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

ValueError: 150004 is not in list

littlerookie opened this issue · comments

您好,参考之前的issue修改了skip_init问题之后,运行报错
image
请问有什么修改的建议吗

您好,参考之前的issue修改了skip_init问题之后,运行报错 image 请问有什么修改的建议吗

你完全复制我的项目部署吧
这个是emcode部分问题,代码修复过
EOS_ID = 150005

您好,参考之前的issue修改了skip_init问题之后,运行报错 image 请问有什么修改的建议吗

你完全复制我的项目部署吧 这个是emcode部分问题,代码修复过 EOS_ID = 150005

新增了token文件,你再拉下代码试试

您好,参考之前的issue修改了skip_init问题之后,运行报错 image 请问有什么修改的建议吗

你完全复制我的项目部署吧 这个是emcode部分问题,代码修复过 EOS_ID = 150005

新增了token文件,你再拉下代码试试

好像没有报错了。另外我想再请教个问题,目前最低可以在多少显存的GPU上跑呢,除了修改per_device_train_batch_size,还有其他参数修改可以降低显存需求的吗?谢谢

您好,参考之前的issue修改了skip_init问题之后,运行报错 image 请问有什么修改的建议吗

你完全复制我的项目部署吧 这个是emcode部分问题,代码修复过 EOS_ID = 150005

新增了token文件,你再拉下代码试试

好像没有报错了。另外我想再请教个问题,目前最低可以在多少显存的GPU上跑呢,除了修改per_device_train_batch_size,还有其他参数修改可以降低显存需求的吗?谢谢

1.bit减少
2.深度改deepspeed参数
3.用megatron
但其实如果真的工业应用,没有一定gpu还是不好搞的
你至多就是让模型能装进显存可以跑起来,后面要算的flop还是关键,跑不快不行的

好的,谢谢

image

已经是最新代码了,不过还是遇到了这个问题,请问有办法解决吗