单词节点的向量表示
mengfanxiao777 opened this issue · comments
您好，我看了您的这篇论文，论文中提到，文档是通过bert进行初始向量，而单词直接是0，所以我有一个疑问，如果单词的初始值为0，在后续传递信息的时候是否还是0。或者单词在图卷积的过程中是否能够提供有效信息？谢谢。
这么理解：这个图中没有文档与文档的直连边，而是通过单词节点间接连接起来的。从而需要至少2层的图卷积将文档的表征通过单词节点传递过去。
单词和单词之间通过滑动窗口建立边，这样就会形成下面的情况：doc1---word1---word2---doc2，这样如果只是两层gcn，那doc1就无法获得doc2的表征了呀，那这样滑动窗口建立单词之间的边还有什么意义吗？谢谢
实际上我没有很仔细考虑过层数这个问题，图结构建立单纯是按照TextGCN他们一致的设定来走的。这么考虑的话在这个模型里单词间的连边确实应该要至少3层GCN才能发挥作用。
谢谢您的回答，您的回答解决了我的很多疑惑
单词和单词之间通过滑动窗口建立边，这样就会形成下面的情况：doc1---word1---word2---doc2，这样如果只是两层gcn，那doc1就无法获得doc2的表征了呀，那这样滑动窗口建立单词之间的边还有什么意义吗？谢谢
你好，我现在在考虑增加文档与文档的直连边，想问一下通过滑动窗口是可以做到的吗？