finetune总是OOM，有解决办法么
AnddyWang opened this issue · comments
单卡Tesla V100；16G显存
finetune参数：max_c_len = 512
max_t_len = 32
batch_size = 2
总是报OOM异常，有解决办法么
用small版本吧，或者换卡。。。我也是RTX5000的16G显存，就是不够用，最后选择了small版本
这个不清楚哎，我batch_size为16，有时候能跑两轮再OOM，感觉应该是刚好比16G大一点，不过batch_size设成32就不行了
这个不清楚哎，我batch_size为16，有时候能跑两轮再OOM，感觉应该是刚好比16G大一点，不过batch_size设成32就不行了
我这个3090 24g显存也跑不动啊，我batch_size设置的8都不行