finetune结果模型只有13M
jiangliqin opened this issue · comments
hashen commented
Zhi Zheng commented
因为使用了增量微调(--use-delta
参数),只保存了LoRA的权重
hashen commented
是的,text_generation.py有Lora使用说明,谢谢~
hashen commented
请问是否支持多任务的finetune,讲数据构造成多任务的格式?
Jeffrey G. commented
您可以将每种任务设计一种数据格式,然后把所有任务的数据混合起来微调即可
fengcai24 commented
您可以将每种任务设计一种数据格式,然后把所有任务的数据混合起来微调即可
请问预训练脚本要用什么数据格式呢?