unilm多少epoch收敛比较好?
chenzelong opened this issue · comments
chenzelong commented
楼主你好,我数据量大约130万,src长度大约100,tgt长度大约40,用unilm多少epoch收敛比较的好?我现在4个epoch发现预测的标题,会出现不通顺/字符重复的问题
zhaohu xing commented
嗯嗯 你觉得差不多就可以,一般一个epoch就差不多啦 你这个数据量。
pytorch实现 Bert 做seq2seq任务,使用unilm方案,现在也可以做自动摘要,文本分类,情感分析,NER,词性标注等任务,支持t5模型,支持GPT2进行文章续写。
chenzelong opened this issue · comments
楼主你好,我数据量大约130万,src长度大约100,tgt长度大约40,用unilm多少epoch收敛比较的好?我现在4个epoch发现预测的标题,会出现不通顺/字符重复的问题
嗯嗯 你觉得差不多就可以,一般一个epoch就差不多啦 你这个数据量。