MuQiuJun-AI / bert4pytorch

超轻量级bert的pytorch版本,大量中文注释,容易修改结构,持续更新

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

LayerNorm 类有个小错误

di-osc opened this issue · comments

if conditional:
self.dense1 = nn.Linear(2 * hidden_size, hidden_size, bias=False)
self.dense.weight.data.uniform_(0, 0) -------> 此处应该self.dense1, 下边的self.dense2 也是一样的

commented

if conditional: self.dense1 = nn.Linear(2 * hidden_size, hidden_size, bias=False) self.dense.weight.data.uniform_(0, 0) -------> 此处应该self.dense1, 下边的self.dense2 也是一样的

确实有点小问题,感谢指出