如何多卡数据并行进行微调?
Eumenides28 opened this issue · comments
请问如何使用多卡数据并行微调呢?微调时一直显示只使用了rank0的机器,设置了export CUDA_VISIBLE_DEVICES=0,1,2,3也不行
🩺 首个会看胸部X光片的中文多模态医学大模型 | The first Chinese Medical Multimodal Model that Chest Radiographs Summarization.
Eumenides28 opened this issue · comments
请问如何使用多卡数据并行微调呢?微调时一直显示只使用了rank0的机器,设置了export CUDA_VISIBLE_DEVICES=0,1,2,3也不行