some question about Meta transform net Eq.5 and Eq.6
matirx98 opened this issue · comments
您好，我理解的Eq.5和Eq.6是代码中的第113和114行（因为Eq.5只有emb的连接，而没有self.meta_net）。请问后面的Personalized transformation parameter matrix中为什么又出现了self.mlp1,self.mlp2 。并且第122~129行代码中的内容对应原文的哪一部分？这种bias和low weight的求法似乎和通常的MLP不一样。
期待您的答复
您好，我理解的Eq.5和Eq.6是代码中的第113和114行（因为Eq.5只有emb的连接，而没有self.meta_net）。请问后面的Personalized transformation parameter matrix中为什么又出现了self.mlp1,self.mlp2 。并且第122~129行代码中的内容对应原文的哪一部分？这种bias和low weight的求法似乎和通常的MLP不一样。 期待您的答复
非常感谢您的精细的问题，首先关于第一个问题，Eq.5和Eq.6的公式的目的是：元知识的提取；它是通过对拼接的三个相关方面知识特征加上一个线性网络，也是对这些知识进行一个简单的融合。然后将提取的元知识又送到元神经网络即self.mlp,进行参数的学习。 关于第二个问题，第122~129行代码中的内容是对上述输出的参数进行一个处理后，才真正作为个性化转换网络的参数。用mean来对全部知识进行一个平均，有点类似于一个图的全局知识然后于局部个性化的知识进行相加的一个结合，尝试过用可学习的参数作为bias，但效果没有直接用mean的全局知识好。希望我的回复能增加您的理解，如果还有疑问，可以进一步交流讨论。再一次感谢！！
非常感谢收到您的答复！我的理解如下：
step1：拼接三方面的知识并加上一个线性网络。cat(6776 * 32 * 3 ) --> Linear(6776 * 96) --> 6776 * 32
step2: meta_net1(6776 * 32) --> (6776 * 96) -->reshape -->6776 * 32 *3; meta_net2也类似输出6776 * 3 *32
step3：bias和low_weight的计算
不知是否正确。
直接mean全局的知识作为bias这个想法太妙了！请问在什么时候采用这个方法会比较有效呢？
感谢，您的理解是正确的。嗯嗯我觉得一般在涉及到比较个性化的知识时，为了防止一种解空间非常大的时候，用一个全局的知识来约束他们在正确的解空间里，这是我直观的理解，没有理论的证明。希望得到您的纠正！！
嗯嗯，大致明白啦，作为刚刚开始了解深度学习和推荐算法的小白，非常荣幸能收到您如此细致的指导！期待后续的交流学习~
嗯嗯，大致明白啦，作为刚刚开始了解深度学习和推荐算法的小白，非常荣幸能收到您如此细致的指导！期待后续的交流学习~
嗯嗯好的，互相指导，交流！！我也是受到我们团队的熏陶，认真对待提问！！