如何执行causal的生成任务
pixas opened this issue · comments
作者您好,FlowFormer是个精彩的工作,我有一个关于代码上的问题想请教您:
问题:我看您的代码有一个判断attn_mask是否为空的操作,但是在inference的时候,即使是causal的task也是没有这个attn_mask的,请问我要如何在attn_mask为空的时候进行生成(例如,机器翻译,语音合成等任务)
您好感谢关注,我们在https://github.com/thuml/Flowformer/blob/main/Flow_Attention.py中提供了causal版本的flow attention,可以参考~