【论文笔记】：Mutual Supervision for Dense Object Detection

&Title

• Mutual Supervision for Dense Object Detection
• ICCV2021
• 代码

&Summary

作者打破了密集检测器中这两个头的训练样本相同的惯例，探索了一种新的监督范式，即相互监督(MuSu)，分别并相互分配分类和回归头的训练样本以确保这种一致性。
MuSu主要根据分类预测分数定义回归头的训练样本，然后根据回归头的定位分数定义分类头的样本。
实验结果表明，这种相互监督的方法保证了检测器的收敛性，并在具有挑战性的MS COCO基准上验证了该方法的有效性。

分类头和回归头是构建密集目标检测器不可缺少的组成部分，通常由相同的训练样本监督，以便在检测管道中准确检测目标。

MuSu的特点

• 通过训练阶段的相互分配，迫使这两个head保持一致。
• MuSu具有从网络本身自适应产生的训练样本的优点，避免了专家知识手工制作的训练样本。
• MuSu不需要任何手工的几何学先验，也不需要对不同层次的金字塔进行精细的处理。

从这个意义上说，MuSu在完全自适应样本分配方面迈出了一大步，更全面地释放了探测器的能力

&Problem Statement

训练图像的最大分类评分和目标最准确的定位框经常出现在不同的位置
检测器应该确保在对象的最大分类和定位分数出现的地方具有空间一致性。

分类和回归头的功能可能不同：分类头将其转换为变化较小的分类分数，而回归头将其转换为位移等效的定位偏移量，从锚到包围盒，这导致了这两个任务之间的内在不一致。具有更精细的定位框但分类得分较低的边界框被抑制了

&Research Objective

以往的工作侧重于这些头部的输入特征和网络结构，并从特征或结构的角度对分类和回归头部进行了分离。
作者从对这两个头的监督的角度来研究这个问题，具体地说，是对他们各自的训练样本的定义，并通过提出密实检测器的相互监督(MuSu)来缓解这种不一致。

训练样本不是在两个头部之间共享的。分类的训练目标由回归头部的预测框和地面真实框之间的IoU (Intersection over Union)得分自适应确定。同样，回归头的训练样本也由分类头的分类分数来定义。

&Method(s)

提出了密集对象检测器的相互监督(MuSu)算法，MuSu在训练过程中通过为这两个头部和头部相互分配训练样本来保证分类和回归之间的一致性。
MuSu可以描述为三个步骤:

1. 通过分类和回归头共同构建自适应候选包，选择最属于某一对象的可选锚点;
2. 在候选包内分别从分类和回归的角度计算排名;
3. 将这些排名转换为权重，合计出每个位置的损失，并监督分类和回归head。MuSu算法描述如下所示：
   

1. 构建候选bag
加入候选bag，就需要有一个门槛，也就是得分达到一个阈值，然后就可以算是候选了，这边的得分是有分类（score）和回归（IoU）两个共同决定的，公式如下

下面t是阈值，b是超参

2. 计算rank
上面的P到这里就没用了，下面的q和p还是分类和回归的得分，α是超参数

对于每个头部，MuSu通过评估对应头部预测与地面真实目标之间的准确性，将每个候选人按降序排列。然后MuSu将排名转换为每个候选人的权重。

一个自然的选择是使用pi来计算回归头(Rreg i)的候选项的排名，使用qi来计算分类头(Rcls i)的排名。然而，我们发现，这种直接的相互监督方式在我们的实验中效果较差。相比之下，MuSu使用正则化的标准值来计算对称形式的候选样本的排名

3. 相互监督
w是计算的权重

计算loss

这边其实就是想得到的权重乘到对应的loss值上进行加权
文章说不同的head选择不同的正样本，感觉应该就是用不同的权重来影响两个head的样本，以此来达到作者说的选择不同的正样本来参与模型训练吧（有些正样本可能权重就为0，表示抛弃，我猜）。
因为方法的第一步骤有选择样本，是用来计算权重的，产生一个阈值来选择对应的anchor，那没选上的anchor对应的权重最终就是没有变化的咯。

&Evaluation

实验大家自己可以去了解，效果很nice

&Conclusion

提出了相互监督该方案打破了分类头和回归头训练样本相同的惯例，采用软目标的方式对分类头和回归头进行相互监督。MuSu在完全自适应的训练样本选择方面迈出了一大步，它不需要精细的几何设计，而是将不同的样本相互分配给这两个头部。
在具有挑战性的MS COCO基准标记上的实验结果验证了我们提出的MuSu检测器训练方案的有效性。

&Thinks

• 在标签分配的基础上，加入了分类回归头的二次打分机制，这种打分机制并不是随便两个head计算得分然后乘到对应的head上去，而是有选择的对本head的高质量样本进行排序转换为权重，然后监督另一个head去学习，想法真的很nice
• 这种重打分，或者二次打分的策略我记得2019-2020年有蛮多这样的论文来着，我个人是很看好这个操作的，换句话说，你可以在这个基础上想一个idea，跟这个操作无关，但是却可以借助这种方法。毕竟问题只有一个，但是方法可以有很多种吗，懂的都懂。

写在后面

距离上一篇原创论文笔记已经有半年多的时间了，这段时间都在忙着春招秋招，所以写笔记的时间都被占用了。我看有粉丝评论私信求更新的，大受鼓舞哈哈哈哈，后面会继续更新论文笔记，供大家参考互相学习！！！

现在秋招已经接近尾声，本人也拿到了大概10来个cv算法岗offer（大厂，自动驾驶厂，二线厂等），大家如果是刚研一或者已经研二了，可以关注我一波，后面会把如何找工作详细的整理写出来，然后把面经全都整理出来，供大家秋招找到满意offer。

如果是大二或者大三的也可以关注一波，如何丰富简历，如何刷题，刷什么题，面试技巧，如何谈薪等都会整理出来，关注我不迷路嘻嘻嘻！

标签：Mutual,分类,Dense,回归,Object,head,监督,训练样本,MuSu
来源： https://blog.csdn.net/qq_41375609/article/details/120724656