FutureTwT / HMAH

The source code of "Teacher-Student Learning: Efficient Hierarchical Message Aggregation Hashing for Cross-Modal Retrieval." (Accepted by TMM 2022)

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

您好,请问最近跨模态方向很多无监督方法在性能上已经优于有监督方法,那么设计有监督方法还有意义吗。或者说对于这个方向来说,有监督和无监督的差别怎样体现

zzidlezz opened this issue · comments

十分感谢你的提问。您提到的这个问题,在我之前测试Baselines的时候也发现了,比较新的无监督方法如JDSH、DJSRH其性能会高于有监督的DCMH等,但是这不代表有监督的方向是有问题的。其实对于无监督检索模型,本质上,并非完全无监督,其依赖于分类代理任务预训练的VGG网络,有监督模型也是通过这样一个网络。那么问题的原因可能是在小样本数据集如NUSWIDE上有监督迁移没有做好,对标签的利用有待提升。目前一个典型的学习范式是: 预训练+有监督的特定任务迁移。换言之,可能这些检索数据集上的标签增益并没有在VGG特征上提升太多。