Multimodal Discriminative Binary Embedding for Large-Scale Cross-Modal Retrieval

一.研究内容

目前，多模态hash的研究主要是为了学习兼容的二进制码，以保留标签给出的语义信息。作者认为这些方法忽略了哈希学习过程中哈希码的判别性，这导致来自不同类别的哈希代不易区分，从而降低了最近邻检索的准确性与鲁棒性，因此提出了MBDE

二.研究贡献

1. 在分类方面制定哈希函数学习，学习更具判别性的哈希码。
2. 学习异构数据内的共享结构，并保留用于哈希码的学习结构。
3. 语义标签代替成对相似度，以更好地保留散列代码的判别性，并降低存储消耗和计算成本。

三、研究框架

首先得到图像的特征矩阵，将图像的特征矩阵转化为哈希码输入分类器进行分类，与标签做分类损失，目的是学习到具有类间判别性的哈希码。将标签转化为哈希码与图像特征转化得到的哈希码做均方误差，目的是为了使类内样本得到的哈希码具有一致性。

四、损失函数

学习具有类间判别性的哈希码
image

text

学习类内具有一致性的哈希码

total loss

五、作者的实验结果

六、作者的下一步计划

在本文中，作者选择模型的线性分类器，线性哈希函数和二范数损失。在未来的工作中，我们将纳入其他类型的分类器，哈希函数和损失函数进入框架，以进一步提高性能。

标签：Binary,Scale,Discriminative,标签,函数,学习,哈希,分类器,判别
来源： https://blog.csdn.net/weixin_49710179/article/details/117966438