其他分享
首页 > 其他分享> > 【嵌入传播】Embedding Propagation: Smoother Manifold for Few-Shot Classification

【嵌入传播】Embedding Propagation: Smoother Manifold for Few-Shot Classification

作者：互联网

Abstract

少样本分类具有挑战性，因为训练集的数据分布可能与测试集大不相同，因为它们的类不相交。这种分布变化通常会导致泛化能力差。流形平滑已被证明可以通过扩展决策边界和减少类表示的噪声来解决分布偏移问题。此外，流形平滑度是半监督学习和转导学习算法的关键因素。在这项工作中，我们建议使用嵌入传播作为无监督的非参数正则化器，用于小样本分类中的流形平滑。嵌入传播利用基于相似图的神经网络提取特征之间的插值。我们凭经验表明嵌入传播会产生更平滑的嵌入流形。我们还表明，将嵌入传播应用于转导分类器在 miniImagenet、tieredImagenet、Imagenet-FS 和 CUB 中实现了新的最先进的结果。此外，我们表明嵌入传播在多个半监督学习场景中始终将模型的准确性提高了 16%。所提出的嵌入传播操作可以很容易地作为非参数层集成到神经网络中。

代码：

GitHub - ElementAI/embedding-propagation: Codebase for Embedding Propagation: Smoother Manifold for Few-Shot Classificationicon-default.png?t=M1L8https://github.com/ElementAI/embedding-propagation

Contributions

  1. 以无监督的方式对流形进行正则化。
  2. 利用嵌入插值来捕获更高阶的特征交互。
  3. 为直推式和半监督学习设置实现最先进的少样本分类结果。

Method

1、嵌入传播

接下来我们计算邻接矩阵的拉普拉斯算子，

最后，使用标签传播公式，我们得到传播矩阵P为，

其中 α ∈ R 是比例因子，I 是单位矩阵。然后，嵌入可通过如下获得，

2、推理阶段

给定一个情节，我们通过提取输入图像的特征，在这些特征上应用嵌入传播，然后应用标签传播来执行推理。更正式地，这是如下执行的。

3、训练步骤

EPNet 分两个阶段进行训练：

  1. 首先，使用用于小样本分类的通用预训练程序 [41] 在 Db 上对模型进行训练，以学习一般特征表示。
  2. 其次，使用情节对模型进行微调，以便学习泛化到新类别。eposides来自同一数据集 Db。

在这两个阶段，EPNet 使用相同的特征提取器

标签：嵌入,Manifold,训练,Classification,传播,分类器,Few,流形,使用
来源： https://blog.csdn.net/qq_29260257/article/details/123101140