Giters

wangyuxinwhy / uniem

unified embedding model

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

目前的训练脚本是否支持多卡呢?

hjq133 opened this issue · comments

commented

看上去目前的finetune和train脚本都是基于单卡的脚本。

commented

由于训练脚本和FineTuner都是基于 accelerate 实现的，所以 accelerate 支持的训练方案都可以支持。单机多卡，多机多卡都可以，还支持 DeepSpeed,FSDDP,TPU 等

可以参考这个 🔗 Distributed training with 🤗 Accelerate

commented

感谢回复，了解了！