首页 > 其他分享> > 检测中的不平衡问题及解决办法

检测中的不平衡问题及解决办法

2021-10-04 10:30:15 作者：互联网

类间不平衡（class imbalance）			尺度不平衡（scale imbalance）		空间不平衡（spatial imbalance）	多任务不平衡（objective imbalance）
背景-前景不平衡	前景-前景不平衡		目标尺寸不平衡	特征尺度不平衡

定义

类间不平衡: 属于不同类别的样本数量差异显著。

前景-背景不平衡：正负例样本数量差异显著，比如rpn提出的候选框负例远大于正例。
前景-前景不平衡：检测的目标其出现频率在数据集中存在差异，比如人出现的频率比熊高。

尺度不平衡：检测目标有不同的尺度，不同数量的样本属于不同的尺度（也即是说相同尺度的检测目标的数量不等，比如在COCO数据集中，大部分检测目标的尺度较小）。

目标尺度不平衡：检测目标尺度差异显著。
特征尺度不平衡：为解决目标尺度不平衡，使用较多的方案是结合多层特征用于预测，结合多层特征时就会出现特征尺度不平衡问题，也就是高层语义特征与底层细节特征的差异。

空间不平衡：指边界框的空间属性（eg.大小，位置）的不平衡，也即不同的边界框对回归损失的贡献不平衡，比如说回归任务时损失函数选择不当，那么可能就会出现边框位置轻微移动，而损失大幅波动的情况，也可能相反，具有较高得分的边框和较低得分的边框损失差距却很小，

多任务不平衡：指在训练网络时多任务loss函数的不平衡。目标检测需要多任务损失，以便同时解决分类和回归任务。

解决方案

前景背景不平衡

做法包括但不限于：

硬采样：

1. 按照设定的比例随机采样正负样本用于训练，比如1：1，1：3。

2. 在线困难样本挖掘 OHEM：随机硬采样的方法认为较为平衡的正负样本能带来更好的训练效果，而OHEM基于这样的假设：训练更多困难的样本更能带来好的效果，困难的样本在OHEM中被认为是损失较大的样本。于是OHEM先前向计算得到每个样本的损失，前B个较大损失的样本用于反向传播训练网络，其余样本则不参与。

软采样：动态地为样本赋予（0，1）间的权重 $w_i$ ，（硬采样相当于只取{0，1}），不同计算权重的方式引出了不同的方法，比如：Focal Loss，权重 $w_i = (1-p_s)^{\gamma}$ ，以及GHM，PISA等。

生成方法：通过人工生成样本注入到数据集中，比如基于GAN的方法 Adversarial-Fast-RCNN，该方法产生具有遮挡和变形的困难样本用于训练。比如 Progressive and Selective Instance-Switching(PSIS)，该方法根据视觉上下文，在一对图像上交换属于相同类的两个对象，产生新的样本。

前景前景不平衡在目标检测相关研究较少，图像分类里蛮多的。

目标尺度不平衡

尺度不平衡就是检测目标的大小具有多样性。解决尺度不平衡问题也就是解决如何有效检测出多尺度目标。主要方案有三种，基于图像金字塔的方法(d)，基于特征金字塔的方法(c)，以及基于图像和特征金字塔的混合方法 (e)。

基于图像金字塔的方法：SNIP，SNIPER，内存和计算代价大，但是效果较好，毕竟特征金字塔也是为了对图像金字塔做一个近似。

基于特征金字塔的方法：众所周知的FPN，但是FPN融合高低特征的过程引出了新的不平衡-特征不平衡。

基于特征和图像金字塔的混合方法：Efficient Featurized Image Pyramids，Enriched Feature Guided Refinement Network ，Scale Aware Trident Networks等。

特征尺度不平衡

FPN处会出现特征不平衡，常理来说融合高低层特征时都会出现这种不平衡，语义分割模型里也是如此。至于为什么归纳在尺度不平衡中可以这样理解，一个目标在高低层处的特征尺度是不一样的。比如一个16x16的目标，在底层的特征尺度为8x8，而在高层就只有1x1。当然本质上还是高低层特征的语义信息差异较大。方法很多，一类是在FPN的基础上提升，一类是提出完全崭新的结构。

在FPN基础上做提升的有：PANet，Libra FPN。

新结构：Scale Transferrable Detection Network. Parallel FPN. Deep Feature Pyramid Reconfiguration.Zoom Out-And-In Network.Multi-Level FPN. NAS-FPN. 等等。

讨论

FPN形式的设计还存在这样一个问题：这类方法是根据框的大小选择在某一层进行预测，如果数据集中目标尺度分布不均衡，那么在训练网络反向传播时就存在困难。

空间不平衡

解决办法通常是设计损失函数，检测中设计的损失函数主要有两类：

1.基于 $L_{p}$ 范数的损失函数，例如 $L_1, L_2, smooth L_1\ Loss$ 等，

2.基于IoU的损失函数，IoU loss，Bounded IoU loss 等。

多任务不平衡

主要解决方案是对每个任务赋予一个权重，权重作为超参数在验证时确定。缺点是随着任务数量的增多，需要设置的权重数量也会增多。对于结合分类和回归任务，更加出色的方法是Classification-Aware Regression Loss (CARL) 。CARL为了有效联合多任务，让边界框的回归损失由分类置信度决定的系数进行缩放。

[1] Imbalance Problems in Object Detection: A Review

不对之处，请多指正~。：）

标签：解决办法,FPN,特征,检测,尺度,样本,目标,平衡
来源： https://blog.csdn.net/qq_34945661/article/details/120592751