千文模型的三阶段和二阶段微调
lyc728 opened this issue · comments
起始日期 | Start Date
2024/3/21
实现PR | Implementation PR
qwen-vl的微调
相关Issues | Reference Issues
No response
摘要 | Summary
qwen-vl的三阶段微调和二阶段微调是那个脚本呢？
基本示例 | Basic Example
finetune/ds_config_zero2.json这个脚本和finetune/ds_config_zero3.json是分别代表二三阶段吗？
缺陷 | Drawbacks
文档没有介绍
未解决问题 | Unresolved questions
三阶段说会冻住vit进行训练，没有看到代码进行介绍；还有二阶段多任务的数据也可以用于三阶段进行指令微调吗
没有三阶段和两阶段吧， zero2 和 zero3 只是deepspeed 训练的设置,根据自己的硬件条件选择即可。 冻住vit应该是fix_vit参数设置为True即可， finetune/finetune_ds.sh 中默认设置为True的
没有三阶段和两阶段吧， zero2 和 zero3 只是deepspeed 训练的设置,根据自己的硬件条件选择即可。 冻住vit应该是fix_vit参数设置为True即可， finetune/finetune_ds.sh 中默认设置为True的
技术报告中是讲了分为3个阶段进行训练的哦