lora微调训练时间
shuangshuangguo opened this issue · comments
您好，想请教一下在您的实验中，lora微调的数据集大小、batch size、token序列长度、训练速度和时长等相关信息，谢谢！
您好，感谢您的关注，下面是相关信息：
数据集大小： 参考此处的表格
batch size：4096
token长度：512
训练设备：8卡V100(32GB)
训练速度：432s/batch
训练时长：3 epoch共耗时约4.7天
非常感谢您的回复！
An Open-sourced Knowledgable Large Language Model Framework.
shuangshuangguo opened this issue · comments
您好，想请教一下在您的实验中，lora微调的数据集大小、batch size、token序列长度、训练速度和时长等相关信息，谢谢！
您好，感谢您的关注，下面是相关信息：
数据集大小： 参考此处的表格
batch size：4096
token长度：512
训练设备：8卡V100(32GB)
训练速度：432s/batch
训练时长：3 epoch共耗时约4.7天
非常感谢您的回复！