ViG与transformer的区别
MiaoJieF opened this issue · comments
你好，我想请教下ViG与transformer的本质区别是什么？
在阅读完代码后，我感觉ViG与transformer有很多的相似之处。transformer是根据相似度进行特征的融合与提取，ViG也在做这个事情，只不过在"相似度"的计算上有所区别，显式地增加了相对位置信息；另外一点不同则是在特征融合上有所区别。整体而言，ViG给我的感觉就是增加了一些归纳偏置的transformer。以上是我的一些个人理解，希望您能够告诉我这个问题的正确答案！
是的，本质区别在于ViG的框架更加灵活，不拘泥于qkv的self-attention计算，可以引入图网络的各种性质，还可以考虑异质图、超图等。
明白了，感谢您的回复