UNILM的Attention Mask设置问题。
lierik opened this issue · comments
楼主你好，我对于这个attention的mask还有一点小问题。
目前我在处于测试阶段，生成任务就是简单的复制，给5个数字，然后生成相同的5个数字。这个任务应该很简答， 所以我就用了bert和一个全连接softmax就结束了。
在训练过程中我对这个attention的mask设置有了点问题，如下：
举个例子，batch_size=1，我的5个数字是12345。
我在训练的过程中设置了最大长度是15，我给的输入是:
[[CLS],1,2,3,4,5,[SEP],1,2,3,4,5, [PAD],[PAD]]
7个字符的segment_0，6个segment_1，还有2个pad。
这里我不知道第二个句子要不要加SEP,因为我们是生成任务,如果给了[SEP]，那到最后一个SEP的时候我生成出来的应该是啥。。
第二个就是attention mask， 如上文，我的输入是size:[1,15]
所以这个attention mask我就设置的是size[1，15，15]
和楼主图里的设置一样，segment_0的mask全部为1，这样mask矩阵的前7行就是7个1加上8个0
之后segment_1，第一个数字的生成，attention不到自己，也是7个1加上8个0，么？
之后第二个数字，就是8个1加上7个0，以此类推。
最后两行的PAD就全部0.
具体的矩阵就是下面这样的，有点大，辛苦楼主了。
([[1., 1., 1., 1., 1., 1., 1., 0., 0., 0., 0., 0., 0., 0., 0.],
[1., 1., 1., 1., 1., 1., 1., 0., 0., 0., 0., 0., 0., 0., 0.],
[1., 1., 1., 1., 1., 1., 1., 0., 0., 0., 0., 0., 0., 0., 0.],
[1., 1., 1., 1., 1., 1., 1., 0., 0., 0., 0., 0., 0., 0., 0.],
[1., 1., 1., 1., 1., 1., 1., 0., 0., 0., 0., 0., 0., 0., 0.],
[1., 1., 1., 1., 1., 1., 1., 0., 0., 0., 0., 0., 0., 0., 0.],
[1., 1., 1., 1., 1., 1., 1., 0., 0., 0., 0., 0., 0., 0., 0.],
[1., 1., 1., 1., 1., 1., 1., 0., 0., 0., 0., 0., 0., 0., 0.],
[1., 1., 1., 1., 1., 1., 1., 1., 0., 0., 0., 0., 0., 0., 0.],
[1., 1., 1., 1., 1., 1., 1., 1., 1., 0., 0., 0., 0., 0., 0.],
[1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 0., 0., 0., 0., 0.],
[1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 0., 0., 0., 0.],
[1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 0., 0., 0.],
[0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.]])
不知道这样的attentionmask对不对，因为我最后生成出来的效果不好，经常是全5，全7，全PAD，不会完整的复制。
首先，第二个句子结束应该加SEP，这是bert的标准输入。预测啥不用管，计算loss的时候会用特殊的mask让这个地方的预测值不起作用。
就是这个attention mask的话，你去看bert源码，行是表示的输出，列代表输入，比如a[0, 0]这个值，如果是1，表示的是CLS这个位置的输出，是会受到CLS这个输入的影响。再往后推一步，a[1, 1]这个值为1，表示数字1这个位置的输出，会受到数字1这个输入的影响。
你预测PAD其实很可能是你计算loss的时候，没有把不应该加入loss的部分给去掉，还得需要一个mask，专门计算loss的，而且你如果第二个句子没有SEP标志，模型是不知道什么时候预测结束的。最后beam-search解码的时候，必须是需要模型预测到SEP标志，才停止解码。
好的，我先给第二个句子也加上SEP。
之后attentionmask，正常的bert输入应该是和句子一样维度，比如我这里是input是[1，15]，attention也应该是[1,15]这样才能表示位置的一一对应，但是在训练过程中，我设置的这个attentionmask是[1,15,15]，也就是说一个15的长度的句子，我给的attentionmask矩阵是[15,15]，我想的是训练过程中的应该是并行的，在我这个复制任务条件下，就是走了一次decoder，但是对每个位置生成，这样想是对的么？这个是我看了Transformers的源码得到的结论，训练过程每个batch只有一次decoder，生成过程则是生成多长字符走多少次decoder，如果不对，希望楼主指出。。
如果是对的话，那我想的就是，生成第一个字符，也就是segment_0的第一个字符，上面的假设就是数字1，这个生成考虑的是[15,15]的attentionmatrix中的[:1,:]，就是第一行，这里我用切片表示了。
然后第二个数字2，使用的是[15,15]的attentionmaskmatrix中的[1:2,:]，就是第二行。
以此类推，不知道我这样的操作对UNLIM的理解对不对。
我在坐loss的时候对输出进行了切片，只计算生成的1，2，3，4，5，[SEP]这六个字符的交叉熵。
我还没有进行inference，因为训练时loss降不下去，然后发现loss降不下去是因为模型对每一个字符都是相同的生成，就是全1，全sep等等。
谢谢楼主，又长篇大论的一通，这个问题已经困扰我一个星期了，我都没有解决。。
对 训练的时候 因为提前构造好了mask 所以走一次就会预测所有字符 计算loss。 但是预测的时候，由于不知道输出是啥，因此需要一个一个字符这样预测~
其实unilm 你别想太复杂 bert 本身不是有个attention mask 么 unilm 其实只是改变了这个mask 而已 decoder方式跟bert一样呀 没有啥区别
那我这样设置attentionmask矩阵对么，我看官方实例给的代码都是attentionmask张量和input张量同纬度，这里我是给了个方阵。。而且loss的时候我通过切片，只输出了生成的那6个字符（1，2，3，4，5，SEP），就这6个字符和标准的做loss，这个也没问题么。。
我确实没想的复杂， 所以就先做个小测试，但是不知道为什么，它就是输出全一样的字符，这个字符是啥都可能，我根本想不通哪里不对，都是按照论文的思路来的并且还看过好多别人写的心得啥的。。
如果楼主方便，能不能麻烦你针对我这个情况给一个attentionmask的输入呢，如果5个字符太长，2个也行，能意思一下就可以。。谢谢了。。
我在坐loss的时候对输出进行了切片，只计算生成的1，2，3，4，5，[SEP]这六个字符的交叉熵。 你这句话有问题哈，你计算错了，loss。
应该是计算 SEP 1, 2, 3, 4, 5 这六个字符的交叉熵
预测到5以后，5这个位置应该预测SEP，往后就通通不要计算loss了。因为最后的SEP预测的是PAD了，你如果计算了这个loss，模型就会预测PAD。
就是segment_0的SEP和segment_1的所有有效字符么?
是的。
好的，我去改改试试，那attentionmask我的设置有问题么，我心里总是有点没底。。
输入如果是 cls , 1, 2, sep, 1, sep pad, mask应该是:
1, 1, 1, 1, 0, 0, 0
1, 1, 1, 1, 0, 0, 0
1, 1, 1, 1, 0, 0, 0
1, 1, 1, 1, 0, 0, 0
1, 1, 1, 1, 1, 0, 0
1, 1, 1, 1, 1, 1, 0
最后一行不用关心，只要保证最后一列为0就ok，最后一行因为以后计算loss会有个mask把让数值不产生作用。
好的，感谢！我这就去试试
没事没事，加油咯～
奥利给！
楼主不好意思我又来问个问题，我这里有了一点进展，有了一定的结果。但是还有点疑惑：
-
比如输入的是[cls,1,2,sep,1,2,sep],如果我的输入正确的话，训练过程中经过模型之后应该是输出[cls,1,2,sep,1,2,sep],还是应该输出[1,2,sep,1,2,pad]呢？
-
就是我在算的时候loss仅仅是后面的，前面的没有考虑，是不是最后会导致模型前面的输出是混乱的，仅仅segment_1是输出了1,2，但是segment_0是随便输出的数字呢？
因为我目前loss已经降了，可以完成复制，但是我看了中间的输出结果，是[4,4,4,4,1,2,sep]这种，而不是[cls,1,2,sep,1,2,sep]或者是[1,2,sep,1,2,sep,pad]
前面是你的输入，所以不用管阿，管它输出啥，反正你已经知道输入是什么了，不是么。
输出： [#,#,#,#,1,2,sep], #代表无所谓，输出啥也不用管，loss也不用去计算。
好的，谢谢楼主，我成功了，万分感谢！
给个star呗，哈哈 多谢啦！
忘记了，忘记了，应该的！