论文：Cross-modality Person re-identification with Shared-Specific Feature Transfer（基于共享特征和具体特征转移的跨模态行人重识别）

出处：CVPR2020

文章目录

• 1. motivation
• 2. proposed method
• • 2.1 Two-stream feature extractor
  • 2.2 Shared-Specific Transfer Network（SSTN）

1. motivation

以往大部分跨模态行人重识别算法一般都只关注shared feature learning，而很少关注Specific feature。因为Specific feature在对面模态中是不存在的。例如在红外线图片中是没有彩色颜色信息的。反之在彩图中也不会有热度信息。而实际上做过ReID的都知道，传统ReID之所以性能很高，很大程度上就是有些“过拟合”到了这些specific信息上。比如衣服颜色一直是传统ReID的一个重要的cue。于是从这个角度出发，作者试图利用specific特征。

主要思路是利用近邻信息。思路（motivation）是这样：给定一红外线query，当搜索彩色target时，我们可以先找到一些简单的置信度高的彩色样本（这些样本大概率是红外线query的positive样本），把这些彩色样本的颜色特异特征给与红外线query。做了这件事后，红外线query样本可以利用这些彩色信息再去搜索更难的彩色样本。

2. proposed method

2.1 Two-stream feature extractor

双流特征提取器包括RGB特定模态分支、共享模态分支、IR特定模态分支。使用ResNet50作为backbone，每个输入图像X都通过卷积层和特征块，生成共享特征和特定特征。为了获得更好的性能，我们在浅卷积层上分离共享的和特定的流，而不是更深的完全连接层。即：

为了确保这两种特征都具有区别性，分别在每种特征上加上了分类损失Lc，确保了特征能够区分输入的 身份。

为了获得更好的可鉴别性，在特定特征上添加了单模态三元组损失(LsmT)，在共享特征上添加了跨模态三态损失(LcmT)：

2.2 Shared-Specific Transfer Network（SSTN）

为了统一特征表示，我们用一个三段形式来表示每个模态的特征： [RGB-specific; shared; Infrared-specific]，0表示填充的零向量。然后；表示在柱维度上的连接。对于跨模态检索，我们需要将特定的特征（ specific features）从一种模态转移到另一种模态来补偿这些零填充向量。

受图卷积网络(GCN)的启发，我们利用近邻来传播信息。SSTN首先根据这两种特征对样本的亲和力（affinity）进行建模。然后用亲和模型传播模态内信息和模态间信息。最后，在特征学习阶段使用分类和三元组损失来指导整个过程的优化。

① Affinity modeling

采用具体的特征来计算模态内的亲和力，采用共享特征计算模态间的亲和力。其中d是标准化的欧几里得距离度量函数。

类内相似性表示每个样本和相同模态的其他样本之间的关系，类间相似性表示每个样本和另一模态的样本之间的关系。可以将最终的亲和力矩阵定义为：

其中T是近邻选择的函数，它能够保持一个矩阵每行的top-k的值，将其他数值设为0。

② Shared and specific information propagation

亲和性矩阵 A 表示了不同样本之间的相似性，SSTN利用这个矩阵来传播特征。

标签：模态,Specific,17,特征,Transfer,样本,specific,re,Shared
来源： https://blog.csdn.net/qq_38276972/article/details/118055166