您好，作者请问您有在一些官方的数据集上面测试过准确性吗？

Question

您好，作者请问您有在一些官方的数据集上面测试过准确性吗？

thinkingmanyangyang opened this issue 4 years ago · comments

thinkingmanyangyang commented 4 years ago

最近在看一个天池大数据的中医药文本生成比赛，我用了微软开源的Unlim代码加载roberta wwm ext的权重后5轮迭代（2-3小时），基本已经收敛，并且提交后的结果有54+。用您开源的代码运行了一晚上，但是loss在2.XX后就不再收敛，最终效果也不是很好，提交后只有27.XX。
作者有在一些官方的数据集上和微软的代码对比过准确率吗，在同样的数据集上准确率是否可以达到微软开源代码的效果。

zhaohu xing commented 4 years ago

Bert+CRF

zhaohu xing · Answer 1 · Wed Sep 23 2020 09:00:40 GMT+0800 (China Standard Time)

不好意思，这个我还真没有，本身也不是专业做NLP方面的，您说的情况我最近测试一下哈，您也再看看是否哪个地方调用的不对呢，比如是否加载简化的字典，load_bert函数里面也有这个参数需要传，不要漏掉。多谢反馈～

thinkingmanyangyang · Answer 2 · Wed Sep 23 2020 09:03:26 GMT+0800 (China Standard Time)

您好，我是直接加载的崔一鸣教授开源的roberta wwm ext的代码，并没有简化词表，因为开源的参数中word_embeddings这个参数的维度就是词表大小。

zhaohu xing · Answer 3 · Wed Sep 23 2020 09:47:04 GMT+0800 (China Standard Time)

请问您说的文本生成比赛是具体哪个比赛呢？

UriBoyka · Answer 4 · Wed Sep 23 2020 10:19:35 GMT+0800 (China Standard Time)

最近在看一个天池大数据的中医药文本生成比赛，我用了微软开源的Unlim代码加载roberta wwm ext的权重后5轮迭代（2-3小时），基本已经收敛，并且提交后的结果有54+。用您开源的代码运行了一晚上，但是loss在2.XX后就不再收敛，最终效果也不是很好，提交后只有27.XX。
作者有在一些官方的数据集上和微软的代码对比过准确率吗，在同样的数据集上准确率是否可以达到微软开源代码的效果。

您好，想问一下您用官方的大概指标跑到了多少哇

thinkingmanyangyang · Answer 5 · Wed Sep 23 2020 22:05:31 GMT+0800 (China Standard Time)

您好，是天池大数据的中医药问题生成任务，链接在这里，https://tianchi.aliyun.com/competition/entrance/531826/introduction

…

------------------ 原始邮件 ------------------ 发件人: "920232796/bert_seq2seq" <notifications@github.com>; 发送时间: 2020年9月23日(星期三) 上午9:47 收件人: "920232796/bert_seq2seq"<bert_seq2seq@noreply.github.com>; 抄送: "君子不器"<2725958627@qq.com>;"Author"<author@noreply.github.com>; 主题: Re: [920232796/bert_seq2seq] 您好，作者请问您有在一些官方的数据集上面测试过准确性吗？ (#11) 请问您说的文本生成比赛是具体哪个比赛呢？ — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

zhaohu xing · Answer 6 · Wed Sep 23 2020 23:04:31 GMT+0800 (China Standard Time)

好的，谢谢，我最近有空的时候检查一下。多谢反馈～如果您发现了什么问题的话，也可以一起交流哈。

thinkingmanyangyang · Answer 7 · Wed Sep 23 2020 23:06:10 GMT+0800 (China Standard Time)

嗯嗯，也有可能是我运行的时候有些参数设置的不当，总之很感谢您开源的代码，也很感谢您在百忙之中回答我的问题，非常感谢。

…

------------------ 原始邮件 ------------------ 发件人: "920232796/bert_seq2seq" <notifications@github.com>; 发送时间: 2020年9月23日(星期三) 晚上11:04 收件人: "920232796/bert_seq2seq"<bert_seq2seq@noreply.github.com>; 抄送: "君子不器"<2725958627@qq.com>;"Author"<author@noreply.github.com>; 主题: Re: [920232796/bert_seq2seq] 您好，作者请问您有在一些官方的数据集上面测试过准确性吗？ (#11) 好的，谢谢，我最近有空的时候检查一下。多谢反馈～如果您发现了什么问题的话，也可以一起交流哈。 — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

zhaohu xing · Answer 8 · Wed Sep 23 2020 23:07:51 GMT+0800 (China Standard Time)

共同进步！

thinkingmanyangyang · Answer 9 · Fri Sep 25 2020 12:42:11 GMT+0800 (China Standard Time)

作者您好，关于unilm在预测的时候，每预测一句话，都要前向传播，预测句子长度次，速度很慢，请问您有没有什么好的加速办法，现在预测一次（4300+条数据），大概要等一个小时。（备注，我参照您的代码，和unilm的原理自己又实现了一下，现在已经有不错的准确率了。）

…

------------------ 原始邮件 ------------------ 发件人: "920232796/bert_seq2seq" <notifications@github.com>; 发送时间: 2020年9月23日(星期三) 晚上11:08 收件人: "920232796/bert_seq2seq"<bert_seq2seq@noreply.github.com>; 抄送: "君子不器"<2725958627@qq.com>;"Author"<author@noreply.github.com>; 主题: Re: [920232796/bert_seq2seq] 您好，作者请问您有在一些官方的数据集上面测试过准确性吗？ (#11) 共同进步！ — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

zhaohu xing · Answer 10 · Fri Sep 25 2020 12:53:01 GMT+0800 (China Standard Time)

不好意思这个真没有，预测慢是unilm的通病，一种办法是你可以用一下tiny模型减少下参数或者好像有个蒸馏的办法？我还没了解过，你可以搜索搜索。

thinkingmanyangyang · Answer 11 · Sat Sep 26 2020 10:49:32 GMT+0800 (China Standard Time)

好的，谢谢您

…

---原始邮件--- 发件人: "zhaohu xing"<notifications@github.com> 发送时间: 2020年9月25日(周五) 中午12:53 收件人: "920232796/bert_seq2seq"<bert_seq2seq@noreply.github.com>; 抄送: "thinkingmanyangyang"<2725958627@qq.com>;"Author"<author@noreply.github.com>; 主题: Re: [920232796/bert_seq2seq] 您好，作者请问您有在一些官方的数据集上面测试过准确性吗？ (#11) 不好意思这个真没有，预测慢是unilm的通病，一种办法是你可以用一下tiny模型减少下参数或者好像有个蒸馏的办法？我还没了解过，你可以搜索搜索。 — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

zhaohu xing · Answer 12 · Wed Sep 30 2020 13:15:52 GMT+0800 (China Standard Time)

好的，谢谢您
…
---原始邮件--- 发件人: "zhaohu xing"<notifications@github.com> 发送时间: 2020年9月25日(周五) 中午12:53 收件人: "920232796/bert_seq2seq"<bert_seq2seq@noreply.github.com>; 抄送: "thinkingmanyangyang"<2725958627@qq.com>;"Author"<author@noreply.github.com>; 主题: Re: [920232796/bert_seq2seq] 您好，作者请问您有在一些官方的数据集上面测试过准确性吗？ (#11) 不好意思这个真没有，预测慢是unilm的通病，一种办法是你可以用一下tiny模型减少下参数或者好像有个蒸馏的办法？我还没了解过，你可以搜索搜索。 — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

天池那个医药NER的比赛，我用我的框架跑了一下，感觉效果非常不错。问题生成那个还没测试。

thinkingmanyangyang · Answer 13 · Wed Sep 30 2020 13:39:33 GMT+0800 (China Standard Time)

您好，bert加crf的baseline能在排行榜拍多少呢

…

---原始邮件--- 发件人: "zhaohu xing"<notifications@github.com> 发送时间: 2020年9月30日(周三) 中午1:16 收件人: "920232796/bert_seq2seq"<bert_seq2seq@noreply.github.com>; 抄送: "thinkingmanyangyang"<2725958627@qq.com>;"Mention"<mention@noreply.github.com>; 主题: Re: [920232796/bert_seq2seq] 您好，作者请问您有在一些官方的数据集上面测试过准确性吗？ (#11) Bert+CRF — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe.

zhaohu xing · Answer 14 · Wed Sep 30 2020 14:00:36 GMT+0800 (China Standard Time)

还没提交，我在车上，等回家的时候可以试试～

thinkingmanyangyang · Answer 15 · Wed Sep 30 2020 18:51:34 GMT+0800 (China Standard Time)

好的，麻烦您

…

---原始邮件--- 发件人: "zhaohu xing"<notifications@github.com> 发送时间: 2020年9月30日(周三) 下午2:00 收件人: "920232796/bert_seq2seq"<bert_seq2seq@noreply.github.com>; 抄送: "thinkingmanyangyang"<2725958627@qq.com>;"Mention"<mention@noreply.github.com>; 主题: Re: [920232796/bert_seq2seq] 您好，作者请问您有在一些官方的数据集上面测试过准确性吗？ (#11) 还没提交，我在车上，等回家的时候可以试试～ — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe.

zhaohu xing · Answer 16 · Thu Oct 01 2020 20:52:49 GMT+0800 (China Standard Time)

终于调通了，这次数据预处理写的很烂，而且只训练了一个epoch，提交上去0.611，等明天我重新训练个好点的，再试试。

zhaohu xing · Answer 17 · Thu Oct 01 2020 20:53:50 GMT+0800 (China Standard Time)

我几乎没参加过什么比赛，有些地方搞了挺久的，见谅哈，看看明天成绩能到多少。

thinkingmanyangyang · Answer 18 · Thu Oct 01 2020 21:29:48 GMT+0800 (China Standard Time)

辛苦您，我目前在问题生成任务排名第17，我们是炬火。

…

---原始邮件--- 发件人: "zhaohu xing"<notifications@github.com> 发送时间: 2020年10月1日(周四) 晚上8:53 收件人: "920232796/bert_seq2seq"<bert_seq2seq@noreply.github.com>; 抄送: "thinkingmanyangyang"<2725958627@qq.com>;"Mention"<mention@noreply.github.com>; 主题: Re: [920232796/bert_seq2seq] 您好，作者请问您有在一些官方的数据集上面测试过准确性吗？ (#11) 终于调通了，这次数据预处理写的很烂，而且只训练了一个epoch，提交上去0.611，等明天我重新训练个好点的，再试试。 — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe.

Jiumen · Answer 19 · Sun Oct 04 2020 17:46:35 GMT+0800 (China Standard Time)

你好，我训练了中医药的模型，训练时测试效果比较好，但是保存模型后再次加载输出却全是O是什么问题呢

zhaohu xing · Answer 20 · Sun Oct 04 2020 17:49:28 GMT+0800 (China Standard Time)

加载字典的时候是不是没有简化

thinkingmanyangyang · Answer 21 · Sun Oct 04 2020 17:54:12 GMT+0800 (China Standard Time)

输出预测全部是o是什么原因我也不是非常清楚，另外我加载词表的时候确实没有简化，因为预训练模型中词向量的维度就是未简化词表前，词表的大小。我看到您的代码中并没有对加载词向量做处理（比如只加载被简化后词表对应的向量这种类似的操作），所以就没有简化。

…

---原始邮件--- 发件人: "zhaohu xing"<notifications@github.com> 发送时间: 2020年10月4日(周日) 下午5:49 收件人: "920232796/bert_seq2seq"<bert_seq2seq@noreply.github.com>; 抄送: "thinkingmanyangyang"<2725958627@qq.com>;"Mention"<mention@noreply.github.com>; 主题: Re: [920232796/bert_seq2seq] 您好，作者请问您有在一些官方的数据集上面测试过准确性吗？ (#11) 加载字典的时候是不是没有简化 — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe.

Jiumen · Answer 22 · Sun Oct 04 2020 17:59:40 GMT+0800 (China Standard Time)

加载字典精简了，我用的是训练时的ner_print和维比特算法解码，会不会是这里出了问题吖

zhaohu xing · Answer 23 · Sun Oct 04 2020 19:09:24 GMT+0800 (China Standard Time)

应该没事我的方法是：1. 你在ner_print函数里面有个decode变量打印一下看看 2. 在输入模型前你decode一下token_ids 看看是不是正常的你想输入的内容我觉得第二点很可能有问题因为我以前也遇到过。。全O

Jiumen · Answer 24 · Sun Oct 04 2020 20:51:11 GMT+0800 (China Standard Time)

decode出来没有问题嗷，但是模型输出解码后全部是0

zhaohu xing · Answer 25 · Sun Oct 04 2020 20:57:59 GMT+0800 (China Standard Time)

模型输入有问题么？

Jiumen · Answer 26 · Sun Oct 04 2020 21:07:55 GMT+0800 (China Standard Time)

没有问题哎，我跟着输出的逻辑走了一边好像就应该是0，应该是我写的有问题吧？

thinkingmanyangyang · Answer 27 · Sun Oct 04 2020 21:14:54 GMT+0800 (China Standard Time)

达观杯2019ner比赛开源分享 https://github.com/lonePatient/daguan_2019_rank9 bert kbqa https://github.com/997261095/bert-kbqa 可以看看里面的crf实现部分，第二份代码我之前有用过，效果不错，第一份没用过。

…

---原始邮件--- 发件人: "Jiumen"<notifications@github.com> 发送时间: 2020年10月4日(周日) 晚上9:08 收件人: "920232796/bert_seq2seq"<bert_seq2seq@noreply.github.com>; 抄送: "thinkingmanyangyang"<2725958627@qq.com>;"Mention"<mention@noreply.github.com>; 主题: Re: [920232796/bert_seq2seq] 您好，作者请问您有在一些官方的数据集上面测试过准确性吗？ (#11) 没有问题哎，我跟着输出的逻辑走了一边好像就应该是0，应该是我写的有问题吧？ — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe.

Jiumen · Answer 28 · Sun Oct 04 2020 21:16:59 GMT+0800 (China Standard Time)

是我写得有问题哈哈哈，谢谢二位耐心指导和分享！！打扰啦打扰啦

yeyulinzhixia · Answer 29 · Sun Oct 04 2020 21:54:44 GMT+0800 (China Standard Time)

请问能否补充一个中医药ner的预测代码呢，我写的那个预测速度太慢了，我不知道哪里出了错误

zhaohu xing · Answer 30 · Sun Oct 04 2020 22:40:42 GMT+0800 (China Standard Time)

预测？跟训练那个代码差不多呀我也是基于那个改的你可以参考下实在不行你可以留个联系方式我私发给你也行。

yeyulinzhixia · Answer 31 · Sun Oct 04 2020 22:59:37 GMT+0800 (China Standard Time)

479892367@qq.com，蟹蟹~

zhaohu xing · Answer 32 · Sun Oct 04 2020 23:02:53 GMT+0800 (China Standard Time)

好的发了

zhaohu xing · Answer 33 · Sat Oct 24 2020 15:43:26 GMT+0800 (China Standard Time)

达观杯2019ner比赛开源分享 https://github.com/lonePatient/daguan_2019_rank9 bert kbqa https://github.com/997261095/bert-kbqa 可以看看里面的crf实现部分，第二份代码我之前有用过，效果不错，第一份没用过。
…
---原始邮件--- 发件人: "Jiumen"<notifications@github.com> 发送时间: 2020年10月4日(周日) 晚上9:08 收件人: "920232796/bert_seq2seq"<bert_seq2seq@noreply.github.com>; 抄送: "thinkingmanyangyang"<2725958627@qq.com>;"Mention"<mention@noreply.github.com>; 主题: Re: [920232796/bert_seq2seq] 您好，作者请问您有在一些官方的数据集上面测试过准确性吗？ (#11) 没有问题哎，我跟着输出的逻辑走了一边好像就应该是0，应该是我写的有问题吧？ — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe.

您好～最近我又调整了一下代码，现在的效果应该完全ok了，以前加载模型参数那个地方有点问题，应该是没加载上预训练模型参数，导致生成的重复率很高，过拟合。多谢支持呀。