疑似bug
streamer-AP opened this issue · comments
hello, 感谢您的分享。 在bert_seq2seq/model/bert_model.py 的 409行， 这里在给BertLayerNorm初始化的时候初始化的alpha, gamma好像没有诶， 这里是不是应该是weight和bias呢。
确实，我的错，已经改了，最近加了一个条件layer norm，直接复制粘贴的代码导致出问题了。。 bert模型和roberta模型中layer norm 应该是不同的，一个是gamma beta,一个是weight bias，因为预训练模型的参数名字就是这样的～ 我已经把bert模型中layer norm层里面的weight bias改成gamma beta啦，应该没问题了～
多谢～
不客气， 您写的很好。
然后我在实际跑的自动写诗的过程中有时候还有一个问题， 在seq2seq_model.py这个文件中143， 149行，last_chars[index]， 这边如果刚开始第一个字符就预测为逗号或者句号的时候 last_chars里面还没有内容，这时候会溢出， 在训练不充分的情况下遇到过一次。
嗷嗷，我等着看看！ 抱歉哈，今天有事情出去来着，一直没看。
谢谢指正～
您太客气了。