t5-pegasus支持任意长度输入吗
orlando1986 opened this issue · comments
https://kexue.fm/archives/8046
我看到这个文章上介绍说T5是相对位置编码，可以支持任意长文本输入。我想请教下苏神，t5-pegasus也是支持长文本输入的吗，为什么我看介绍里说最大长度是512呢。盼回复
T5是相对位置编码，理论上可以支持更长文本，实际训练的时候用的最大长度是512，所以模型在训练时没有训练过，会导致效果受限长度
ZhuiyiTechnology / t5-pegasus
中文生成式预训练模型