Giters

ise-uiuc / magicoder

Magicoder: Source Code Is All You Need

Home Page:https://arxiv.org/abs/2312.02120

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

8台A40机器上复现magicoder-S-DS-6.7B的结果

tusiqi1 opened this issue · comments

commented

因为README-DEV.md脚本直接使用accelerate提示训练内存不足，故修改为deepspeed-stage1启动，其余参数均为默认。因是8卡迭代步长缩小了1/4。

经过实验后我发现：

  1. 训练速度大幅降低
  2. 1阶段和2截断训练效果均无法达到60%

想咨询下机器不同，且增加了deepspeed有可能让结果变差这么多吗？