关于摘要自动生成
maoyj0119 opened this issue · comments
你好
我刚刚接触到这个领域，请问在做文章摘要生成时使用对联的例子是可以的吗？
在对联的seq2seq模型中只有一个bert作为encoder，这样子可以很好的完成seq2seq模型吗
可以，微软发的论文，unilm模型，只用encoder就可以做seq2seq任务。
你好
请问意思是我直接把我的数据做成数据集传入对联的接口就可以，不用再做其他工作了吗？
还是需要先了解一下unlim论文，我看到其他的issue中提到了很多有关Mask的问题
十分感谢
mask 我代码已经帮你做了，你只需要做好输入输出就ok了。
您好!我跑了2个epoch的情况下的结果如上图
"本文总结了十个可穿戴产品的设计原则而这些原则同样也是笔者认为是这个行业最吸引人的地方1为人们解决重复性问题2从人开始而不是从机器开始3要引起注意但不要刻意4提升用户能力而不是取代人",
"2007年乔布斯向人们展示iPhone并宣称它将会改变世界还有人认为他在夸大其词然而在8年后以iPhone为代表的触屏智能手机已经席卷全球各个角落未来智能手机将会成为真正的个人电脑为人类发展做出更大的贡献",
"2014年51信用卡管家跟宜信等P2P公司合作推出线上信贷产品瞬时贷其是一种纯在线操作的信贷模式51信用卡管家创始人孙海涛说51目前每天放贷1000万预计2015年自营产品加上瞬时贷放贷额度将远超30亿"
这是我用来测试的数据，结果如下图
请问是因为训练的时间不够吗？但是loss已经在原地打转了
才跑了两个epoch 你咋看出来loss原地打转了，你如果没改我代码的话，一个epoch才输出一次loss吧。
改了代码是200个迭代就输出一次，目前尝试调小学习率在跑
好，你再试试。要是不行的话你可以代码让我看看。
好好十分感谢您！！
您好 在不断降低学习率之后loss还是卡在原来的位置，请问如何能与您取得联系？
您好 在不断降低学习率之后loss还是卡在原来的位置，请问如何能与您取得联系？
我的也是，训练到第三个epoch，再往后loss就不变了，请问你解决了吗？
您好 在不断降低学习率之后loss还是卡在原来的位置，请问如何能与您取得联系？
我的也是，训练到第三个epoch，再往后loss就不变了，请问你解决了吗？
应该解决了，后来他加我微信了。
他输出的loss输出错了，输出的是batch_loss 变化肯定很小呀。
你可以检查下数据输入对不对 encode了数据之后 你打印了么 看看对不对呀 别有问题。
如何能联系到您呢？qq群加不进去，有关于epoch和bart做seq2seq方面的问题想请教一下