ymcui / PERT

PERT: Pre-training BERT with Permuted Language Model

Home Page:https://arxiv.org/abs/2203.06906

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

错误反馈

Xu-913 opened this issue · comments

你好,关注到arxiv上的PERT原文,图片中是不是有点错误呢?预测的两个位置xia'biao下标是不是应该是7和6呢?
image

你好,感谢指正,这里确实是写错了。
此处应该是pos_6和pos_5。
GitHub上的图片已更新,论文中的图片会在下个版本更新。

我这个菜鸡也看错了,应该是6和5才对。有个问题想请教下,我在hugging face下载torch版本的PERT模型,为什么bin格式下载过来变成了压缩包zip呢?我该怎样转换成bin格式的模型文件呢?

刚刚试了一下,通过网站下载下来是bin文件。
或许是你的系统把bin文件关联到的压缩包程序上。
你也可以试一下能否直接加载下载好的模型文件。

也是这种情况,下载了好几次都是压缩包

刚刚试了一下,通过网站下载下来是bin文件。 或许是你的系统把bin文件关联到的压缩包程序上。 你也可以试一下能否直接加载下载好的模型文件。

感谢解答,刚刚试了直接将zip更名为bin文件,模型仍然是可以加载的。

在我自己建立的NER dataset中,PERT+CRF模式比之前的sota模型roBERTa+CRF,f1socre提高了0.8%,虽然不足一个百分点,但是也是非常棒的!

commented

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your contributions.

commented

Closing the issue, since no updates observed. Feel free to re-open if you need any further assistance.