能否解释一下EmbeddingExt中的旋转位置编码的作用是什么？

[junphine]

我理解旋转位置编码应该在取得query和key的向量之后计算，这里为什么是在之前计算？
input_sub具体指的是什么？作为旋转位置编码的x_pos参数传入，发现他大部分场景下始终是0向量，所以旋转位置编码没有起到作用