多机多卡运行 stage2 和stage3，stage3的训练时间是stage2的25倍，这结果合理吗
yangzhipeng1108 opened this issue · comments
stage3你是是否开了offload cpu，如果开了，速度会变得很慢
liucongg / ChatGLM-Finetuning
基于ChatGLM-6B、ChatGLM2-6B、ChatGLM3-6B模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning、全参微调等
基于ChatGLM-6B、ChatGLM2-6B、ChatGLM3-6B模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning、全参微调等
yangzhipeng1108 opened this issue · comments
stage3你是是否开了offload cpu，如果开了，速度会变得很慢