您好！我对mPLUG中的部分代码有些不太理解，希望获得您的帮助。
luzhuflower opened this issue · comments
这是图文检索里的代码，我想问一下self.distill是代表什么意思，做蒸馏吗？还有，self._momentum_update()、self._dequeue_and_enqueue(image_feat_m, text_feat_m, idx)这好像动量对比学习里的代码，我也不明白这是什么意思。如果有可能的话，请您尽可能地告诉我这段代码的含义。十分感谢！
感谢你对我们工作的关注！这里面是参考MoCo论文中增大对比学习batch的策略，distill是做蒸馏用的，参考的ALBEF论文。具体的技术细节可以去看这两篇对应工作
好的，感谢您的帮助！