zhaoxjmail / Soft-Masked-BERT

使用方法：直接运行Soft-Masked-BERT.py查看Soft-Masked-BERT输出的tensor结果
环境：
ubantu 18.4.0
python 3.6.9
torch  1.6.0


论文讲解地址 https://zhuanlan.zhihu.com/p/259540550

其中代码中用到的bert中文训练模型与config文件可以通过以下链接下载：

config文件下载：https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese-config.json

bert中文预训练模型：https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese-pytorch_model.bin