您好,作者请问您有在一些官方的数据集上面测试过准确性吗?
thinkingmanyangyang opened this issue · comments
最近在看一个天池大数据的中医药文本生成比赛,我用了微软开源的Unlim代码加载roberta wwm ext的权重后5轮迭代(2-3小时),基本已经收敛,并且提交后的结果有54+。用您开源的代码运行了一晚上,但是loss在2.XX后就不再收敛,最终效果也不是很好,提交后只有27.XX。
作者有在一些官方的数据集上和微软的代码对比过准确率吗,在同样的数据集上准确率是否可以达到微软开源代码的效果。
不好意思,这个我还真没有,本身也不是专业做NLP方面的,您说的情况我最近测试一下哈,您也再看看是否哪个地方调用的不对呢,比如是否加载简化的字典,load_bert函数里面也有这个参数需要传,不要漏掉。多谢反馈~
您好,我是直接加载的崔一鸣教授开源的roberta wwm ext的代码,并没有简化词表,因为开源的参数中word_embeddings这个参数的维度就是词表大小。
请问您说的文本生成比赛是具体哪个比赛呢?
最近在看一个天池大数据的中医药文本生成比赛,我用了微软开源的Unlim代码加载roberta wwm ext的权重后5轮迭代(2-3小时),基本已经收敛,并且提交后的结果有54+。用您开源的代码运行了一晚上,但是loss在2.XX后就不再收敛,最终效果也不是很好,提交后只有27.XX。 作者有在一些官方的数据集上和微软的代码对比过准确率吗,在同样的数据集上准确率是否可以达到微软开源代码的效果。
您好,想问一下您用官方的大概指标跑到了多少哇
好的,谢谢,我最近有空的时候检查一下。多谢反馈~ 如果您发现了什么问题的话,也可以一起交流哈。
共同进步!
不好意思 这个真没有,预测慢是unilm的通病,一种办法是你可以用一下tiny模型 减少下参数 或者好像有个蒸馏的办法?我还没了解过,你可以搜索搜索。
好的,谢谢您
…
---原始邮件--- 发件人: "zhaohu xing"<notifications@github.com> 发送时间: 2020年9月25日(周五) 中午12:53 收件人: "920232796/bert_seq2seq"<bert_seq2seq@noreply.github.com>; 抄送: "thinkingmanyangyang"<2725958627@qq.com>;"Author"<author@noreply.github.com>; 主题: Re: [920232796/bert_seq2seq] 您好,作者请问您有在一些官方的数据集上面测试过准确性吗? (#11) 不好意思 这个真没有,预测慢是unilm的通病,一种办法是你可以用一下tiny模型 减少下参数 或者好像有个蒸馏的办法?我还没了解过,你可以搜索搜索。 — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.
天池那个医药NER的比赛,我用我的框架跑了一下,感觉效果非常不错。问题生成那个还没测试。
Bert+CRF
还没提交,我在车上,等回家的时候可以试试~
终于调通了,这次数据预处理写的很烂,而且只训练了一个epoch,提交上去0.611,等明天我重新训练个好点的,再试试。
我几乎没参加过什么比赛,有些地方搞了挺久的,见谅哈,看看明天成绩能到多少。
你好,我训练了中医药的模型,训练时测试效果比较好,但是保存模型后再次加载输出却全是O是什么问题呢
加载字典的时候 是不是没有简化
加载字典精简了,我用的是训练时的ner_print和维比特算法解码,会不会是这里出了问题吖
应该没事 我的方法是:1. 你在ner_print函数里面 有个decode变量 打印一下看看 2. 在输入模型前 你decode一下token_ids 看看是不是正常的你想输入的内容 我觉得第二点很可能有问题 因为我以前也遇到过。。全O
decode出来没有问题嗷,但是模型输出解码后全部是0
模型输入 有问题么?
没有问题哎,我跟着输出的逻辑走了一边好像就应该是0,应该是我写的有问题吧?
是我写得有问题哈哈哈,谢谢二位耐心指导和分享!!打扰啦打扰啦
请问能否补充一个中医药ner的预测代码呢,我写的那个预测速度太慢了,我不知道哪里出了错误
预测? 跟训练那个代码差不多呀 我也是基于那个改的 你可以参考下 实在不行你可以留个联系方式 我私发给你也行。
479892367@qq.com,蟹蟹~
好的 发了
达观杯2019ner比赛开源分享 https://github.com/lonePatient/daguan_2019_rank9 bert kbqa https://github.com/997261095/bert-kbqa 可以看看里面的crf实现部分,第二份代码我之前有用过,效果不错,第一份没用过。
…
---原始邮件--- 发件人: "Jiumen"<notifications@github.com> 发送时间: 2020年10月4日(周日) 晚上9:08 收件人: "920232796/bert_seq2seq"<bert_seq2seq@noreply.github.com>; 抄送: "thinkingmanyangyang"<2725958627@qq.com>;"Mention"<mention@noreply.github.com>; 主题: Re: [920232796/bert_seq2seq] 您好,作者请问您有在一些官方的数据集上面测试过准确性吗? (#11) 没有问题哎,我跟着输出的逻辑走了一边好像就应该是0,应该是我写的有问题吧? — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe.
您好~最近我又调整了一下代码,现在的效果应该完全ok了,以前加载模型参数那个地方有点问题,应该是没加载上预训练模型参数,导致生成的重复率很高,过拟合。多谢支持呀。