关于focal head 和 topk index

[jiandong.gao]

请问对当前开源config，train_ratio=1.0,infer_ratio=1.0,所有grid（bsnh*w个）都参与了后续的attention计算，那计算排序还是否有意义？ focal head是不是只起到了辅助头的作用？实际推理可直接去除。

[exiawsh]

您好，是的，实际推理中可以去除。

[jiandong.gao]

您好，是的，实际推理中可以去除。

好的，感谢回复