2020 TIPS-ReID:Bi-Directional Center-Constrained Top-Ranking for Visible Thermal Person Re-Identific

Bi-Directional Center-Constrained Top-Ranking for Visible Thermal Person Re-Identification
本文发表于2020 TIPS，是Visible thermal person re-identification via dual-constrained top-ranking的改进版本。

当前的问题及概述：
Motivation与Visible thermal person re-identification via dual-constrained top-ranking基本相似，指出除了由于相机规格的不同而造成的跨模态差异外，由于不同的相机环境和人体姿态等原因，使得VT-REID还存在着较大的跨模态和模内变化。
本文提出了一种新的具有双向双重约束网络来学习判别特征。它的特点有两个方面:1)端到端学习没有额外的度量学习步骤2)双约束同时处理跨模态和模态内的变化，保证特征的可识别性。3)提出了一种基于双向中心约束的top-ranking (eBDTR)算法，该算法将前两个约束条件转化为一个公式，同时保留了处理跨模态和模态内变化的特性。
模型及loss：

1.文章的框架同Visible thermal person re-identification via dual-constrained top-ranking一致，具体不过多赘述。Loss部分：
1)Ranking Loss Revisit：

bi_rank loss中，目的是使得D（xi,zj）<D（zi，zk），D（zi,xj）<D（zj，xk），即不同模态的同一ID的距离小于同一模态的不同ID。
2)Cross-Modality Top-Ranking Constraint（双向双约束度量损失）

使得不同模态的同一ID小于不同模态的不同ID。
3)Intra-Modality Top-Ranking Constraint（同一模态内部损失）

使得不同ID在同一模态的距离增大。
4)Identity Loss

以上的内容都是与Visible thermal person re-identification via dual-constrained top-ranking一致，下面是本文改进的部分：
2 Bi-Directional Center-Constrained Top-Ranking（双向中心一致性top-ranking）

从图中可以看到，本文将样本与中心相似度进行比较，而不是将样本与样本相似度进行比较。思路与Hetero-Center Loss for Cross-Modality Person Re-Identification一文的设计思路相似，可以看到：

其中Cyi表示yi类别中心的向量C，xi为可见光特征，K为batch size。本文还假设在两种异质模态中，每个带有标签yi的人的身份也应靠近中心cyi。所以，bi-directional center-constrained top- ranking loss：

使得同一ID的RGB和IR feature map与该类别（即同一ID）中心的向量的距离小于不同类别（即不同ID）的中心向量的距离。也就是说，该公式将anchor和sample的距离改为anchor与center的距离，有两个优点：1，减少计算量，若k张RGB图像与K张IR图像进行输入，那么原来的计算量为2Kk次模态间计算和2Kk次模态内计算，而本文的idea仅有2K*k次与中心的对比计算2，保留了处理跨通道和通道内变化的属性。一方面，center-constrained top- ranking loss确保了来自不同模式的人的身份是可区分的。另一方面，中心本身限制了样品的同质性，无论是从可见模态还是热模态都是集中的，这同时解决了模态内的变化。
总loss：

实验：
数据集：RegDB and SYSU-MM01
消融实验：

和其他框架进行比较：

• 点赞
• 收藏
• 分享
• • 文章举报

标签：模态,Ranking,Center,ranking,top,Directional,Visible,constrained
来源： https://blog.csdn.net/qq_41967539/article/details/104457840