首页 > 其他分享> > Uncertainty——CVPR 2021

Uncertainty——CVPR 2021

2021-10-18 16:59:14 作者：互联网

1. Uncertainty Guided Collaborative Training for Weakly Supervised Temporal Action Detection

用视频级别的类别标签进行弱监督的实时动作检测，作者提出了一种不确定性指导的协同训练 UGCT，包含一个线上伪标签生成模型用于 RGB 和光流的互相学习，此外是一个不确定性感知学习模块用于缓解伪标签的噪声。
在这里插入图片描述
基于贝叶斯学习加入一个不确定性估计模块，将其作为伪标签的噪声加入损失函数中，其中不确定性由伪标签和 attention weight 的距离得出。

2. Uncertainty-aware Joint Salient Object and Camouflaged Object Detection

视觉显着物体检测（SOD）旨在找到吸引人类注意力的显着物体，而伪装物体检测（COD）则相反，旨在发现隐藏在周围的伪装物体，本文提出了一种利用矛盾信息来提高显着物体检测和伪装物体检测的检测能力的范式。
在这里插入图片描述
引入了一种不确定性感知对抗训练策略来模拟我们联合学习框架中特定于任务的不确定性，其中包括一个“预测解码器”模块来产生与任务相关的预测，一个“置信度估计”模块来估计每个预测的不确定性，以及用于稳健模型训练的对抗性学习策略。 “置信度估计”用卷积生成一个单通道置信图，通过对抗学习进行训练。

3. Dive into Ambiguity: Latent Distribution Mining and Pairwise Uncertainty Estimation for Facial Expression Recognition

针对标注的模糊性提出潜在分布挖掘和不确定性估测 DMUE，引入了一个辅助的多分支学习框架，以更好地挖掘和描述标签空间中的潜在分布，并充分利用实例之间语义特征的成对关系来估计实例空间中的模糊程度。
在这里插入图片描述
成对不确定性估测模块，将同个 batch 中的图像与锚图像做余弦相似度。

4. Fusing the Old with the New: Learning Relative Camera Pose with Geometry-Guided Uncertainty

相对相机姿态估计，提出了一个新颖的框架，该框架涉及网络训练期间两个预测系列之间的概率融合，以期以可学习的方式利用它们的互补优势。
在这里插入图片描述
通过旋转和平移参数得到高斯分布的信息矩阵，从而求出参数方差的倒数，作为融合权重。

5. Data-Uncertainty Guided Multi-Phase Learning for Semi-Supervised Object Detection

以往基于伪标签的半监督方法受噪声严重退化，容易过拟合噪声标签，为了解决这个问题，提出了一种用于半监督目标检测的数据不确定性引导的多阶段学习方法。根据其难度级别综合考虑不同类型的未标记图像，在不同阶段使用它们，并将不同阶段的模型集成在一起以生成最终结果。
在这里插入图片描述
在基于图像不确定性的图像选择中，通过边界框和相应的置信度分数计算对特定对象的确定程度；在基于区域不确定性的 RoI Re-weighting 中，通过计算不同 RoI 的余弦距离以及 Intersection over foreground (IoF），发现不确定区域并通过降低权重来降低它们的梯度，以促进更准确的区域脱颖而出。

6. Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware Regression

学习概率序数嵌入，将每个数据表示为多元高斯分布，而不是潜在空间中的确定性点，提出了一个序数分布约束来利用回归的序数性质。
在这里插入图片描述

7. Embracing Uncertainty: Decoupling and De-Bias for Robust Temporal Grounding

视频时间定位中存在两种不可避免的不确定性的挑战——查询不确定性和标签不确定性，提出了一种新颖的 DeNet（解耦和去偏差）来接受人类的不确定性。
在这里插入图片描述

8. Uncertainty-guided Model Generalization to Unseen Domains

研究来自单一来源的域外泛化，目标从单一来源学习一个健壮的模型，并期望它能够泛化许多未知的分布。输入和标签空间中增加源容量，而增加是由不确定性评估指导的。
在这里插入图片描述

9. Improved Image Matting via Real-Time User Clicks and Uncertainty Estimation

图像抠图中引入了一个不确定性估计模块，预测哪些部分需要抛光和后续的局部细化模块。
在这里插入图片描述
在抠图网络的编码器上添加了另一个类似的解码器。

10. Uncertainty Reduction for Model Adaptation in Semantic Segmentation

针对语义分割的无监督域适应 (UDA) 的传统方法利用源域和目标域共有的信息，使用标记的源数据和未标记的目标数据。提出了一种降低目标域数据预测不确定性的方法，最小化预测后验的熵，最大化特征表示的噪声鲁棒性。
在这里插入图片描述

11. MonoRUn: Monocular 3D Object Detection by Reconstruction and Uncertainty Propagation

3D 空间中的对象定位，提出了新颖的检测框架 MonoRun，为了回归像素相关的 3D 对象坐标，采用了具有不确定性意识的区域重建网络，不确定性驱动的 PnP 算法被用来估计对象姿态及其协方差。
在这里插入图片描述
使用单变量高斯分布对重新投影的 2D 坐标进行建模，并让网络预测均值和标准差，这些均值和标准差使用 Robust KL 损失进行优化。

12. Masksembles for Uncertainty Estimation*

结合 Deep Ensembles 和 MC-Dropout 的优点，引入了 Masksembles，依赖于固定数量的二元掩码，这些掩码以允许改变单个模型之间相关性的方式进行参数化。MC-Dropout 性能不佳的主要原因是集成元素之间的高度相关性，这使得整体预测不够多样化，Masksembles 旨在控制集成元素之间的相关性，因此在可靠的不确定性估计和可接受的计算成本之间实现令人满意的折衷。
在这里插入图片描述

Aleatoric uncertainty, also known as Data uncertainty [7], captures noise that arises from data and therefore is irreducible, because it is directly caused by the natural complexity of the data. Sensor noise, labels noise and classes overlapping are among the most common sources of aleatoric uncertainty. Epistemic uncertainty or model uncertainty [7] accounts for uncertainty in the parameters of the model that we learned, that is, it represents our ignorance about parameters of the data generation process. This type of uncertainty is reducible and therefore, given enough data, could be completely eliminated. In addition to aforementioned types of uncertainty, there is also Distributional uncertainty. Also known as dataset shift [31], this type of uncertainty is useful when there is a mismatch between the training and testing data distributions, and a model is confronted with unfamiliar samples.

MC 中无论概率 p 如何选择，mask 都会出现显著重合，导致多个预测高度相关，不确定性值估测偏小。此外，由于在每次训练迭代时对掩码进行重新采样，因此每个网络单元都需要能够与任何其他单元形成一致的响应，这会产生混合效应并导致来自不同掩码的预测之间的一致性。
为了解决这些问题，作者使用一组生成的预定义二进制掩码，以控制它们的重叠，然后使用它们来删除相应的网络激活，以便得到的模型充分去相关，并且不会受到上述混合效应的影响。
生成 N 个 mask，每个 vector 为 M*S，M 为 1 的个数：
在这里插入图片描述
评价指标：