Flowformer_NLP/flow_attention.py 在使用交叉注意力方式计算，且q 和kv的长度不同时会报错

[wanpengxyzz]

Flowformer_NLP/flow_attention.py 在使用交叉注意力方式计算，且q 和kv的长度不同时会报错

(1) incoming and outgoing flow

        sink_incoming = 1.0 / (torch.einsum("nld,nld->nl", q + 1e-6, k.cumsum(dim=1) + 1e-6))

[wanpengxyzz]

a

[wuhaixu2016]

您好，感谢关注
（1）我们在Flowformer_NLP提供的Flow-Attention是针对language modeling这个causal任务的，即QKV长度一致的情况
（2）如果您使用交叉注意力的话，则对应非causal版本，可以在这里找到https://github.com/thuml/Flowformer/blob/main/Flow_Attention.py

[wanpengxyzz]

谢谢，另外请教下，https://github.com/thuml/Flowformer/blob/main/Flow_Attention.py的版本中没有attention_mask的设置，看代码是默认用了cumsum，也就是说对应的就是一个上三角mask矩阵？

[wuhaixu2016]

是的

[wanpengxyzz]

好的，谢谢解答