疑似bug
streamer-AP opened this issue · comments
hello, 感谢您的分享。 在bert_seq2seq/model/bert_model.py 的 409行, 这里在给BertLayerNorm初始化的时候初始化的alpha, gamma好像没有诶, 这里是不是应该是weight和bias呢。
确实,我的错,已经改了,最近加了一个条件layer norm,直接复制粘贴的代码导致出问题了。。 bert模型和roberta模型中layer norm 应该是不同的,一个是gamma beta,一个是weight bias,因为预训练模型的参数名字就是这样的~ 我已经把bert模型中layer norm层里面的weight bias改成gamma beta啦,应该没问题了~
多谢~
不客气, 您写的很好。
然后我在实际跑的自动写诗的过程中有时候还有一个问题, 在seq2seq_model.py这个文件中143, 149行,last_chars[index], 这边如果刚开始第一个字符就预测为逗号或者句号的时候 last_chars里面还没有内容,这时候会溢出, 在训练不充分的情况下遇到过一次。
嗷嗷,我等着看看! 抱歉哈,今天有事情出去来着,一直没看。
谢谢指正~
您太客气了。