liucongg / ChatGLM-Finetuning

基于ChatGLM-6B、ChatGLM2-6B、ChatGLM3-6B模型,进行下游具体任务微调,涉及Freeze、Lora、P-tuning、全参微调等

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

单卡正常,多卡报错

SCU-JJkinging opened this issue · comments

刘老师您好,请问我运行单卡正常,但运行多卡的时候,无论是lora还是ptuning都会报下面这个错误,是什么原因呢:
截屏2023-09-08 11 29 49
盼回复,感谢🙏

我也碰到了相同问题

相同的问题,单卡正常,设置多卡时,子进程会被kill。搞不清楚原因

刘老师您好,请问我运行单卡正常,但运行多卡的时候,无论是lora还是ptuning都会报下面这个错误,是什么原因呢: 截屏2023-09-08 11 29 49 盼回复,感谢🙏

换成直接相邻的N张卡试试,比如0,1,2,3 或 4,5

刘老师您好,请问我运行单卡正常,但运行多卡的时候,无论是lora还是ptuning都会报下面这个错误,是什么原因呢: 截屏2023-09-08 11 29 49 盼回复,感谢🙏

换成直接相邻的N张卡试试,比如0,1,2,3 或 4,5

请问您换成相邻的卡成功了吗?我就是用的0,1卡报这个错误

感觉是不是内存吃满了,然后服务自动kill了