ValueError: 150004 is not in list
littlerookie opened this issue · comments
littlerookie commented
liangwq commented
liangwq commented
littlerookie commented
liangwq commented
你完全复制我的项目部署吧 这个是emcode部分问题,代码修复过 EOS_ID = 150005
新增了token文件,你再拉下代码试试
好像没有报错了。另外我想再请教个问题,目前最低可以在多少显存的GPU上跑呢,除了修改per_device_train_batch_size,还有其他参数修改可以降低显存需求的吗?谢谢
1.bit减少
2.深度改deepspeed参数
3.用megatron
但其实如果真的工业应用,没有一定gpu还是不好搞的
你至多就是让模型能装进显存可以跑起来,后面要算的flop还是关键,跑不快不行的
littlerookie commented
好的,谢谢
Shijie Yu commented