interact中的报错
rattlesnakey opened this issue · comments
我是拿自己的数据在NLPCC_Summary 模型的基础上又进行了一下微调,模型的config参数没有变动
我已经知道问题啦,把输入的句子的长度再调小一点,我是调小于500, 因为生成新的token会加到原来的document上面去做inference,导致GPT2的encode的句子的长度会超过1024,从而导致position embedding的idx找不到,从而报错
基于GPT2的中文摘要生成模型
rattlesnakey opened this issue · comments
我是拿自己的数据在NLPCC_Summary 模型的基础上又进行了一下微调,模型的config参数没有变动
我已经知道问题啦,把输入的句子的长度再调小一点,我是调小于500, 因为生成新的token会加到原来的document上面去做inference,导致GPT2的encode的句子的长度会超过1024,从而导致position embedding的idx找不到,从而报错