复现实验的参数配置
yangjianxin1 opened this issue · comments
非常棒的工作，请教一下复现instructor的实验的超参。请问是batch size=32, epoch=3吗，那就是训练10万多步。
temperature: 0.01
add_swap_loss: True
batch_size: 80
max_length: 512
lr: 3e-5
epochs: 3
我们自己训练的模型跑了 MTEB ,也传到了 leaderboard 上面，名字叫 exp-base-softmax-last_mean。Classification Average (12 datasets) 跑到了 71.08，低于 instructor-base 的 72.36。不过 instructor 自己的评测是添加了手工调整的指令，我们评测的时候是不添加任何指令的。