MuQiuJun-AI / bert4pytorch

超轻量级bert的pytorch版本,大量中文注释,容易修改结构,持续更新

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

导入hugging face 的bert-base-chinese存在bug

DimariaW opened this issue · comments

modelling文件中variable mapping函数中的mapping存在bug.
hugging face的模型文件中layerNorm参数用的是gamma和beta, 作者给的是weight bias, 不匹配

modelling文件中variable mapping函数中的mapping存在bug. hugging face的模型文件中layerNorm参数用的是gamma和beta, 作者给的是weight bias, 不匹配

是的,可以看下这个https://github.com/Tongjilibo/bert4torch