2021-04-15
作者：互联网
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档
bbn双边分支网络与长尾视觉识别
前言
长尾效应是指，训练数据中，一小部分的类别占据了大多数的训练样本，而大部分的类别只有极少数的训练样本。重平衡方法可实现令人满意的识别准确性，这是因为它们可以显著促进深度网络的分类学习，但是同时，这种策略也会在一定程度上破坏网络学习某些特征表示的能力。因此，本文提出了一个统一的双边分支网络（Bilateral-Branch Network BBN）来兼顾网络的特征表示能力和分类能力。双边分支的每个分支各司其职，单独作用。特别的，BBN模型引入了新颖的累计学习（cumulative learning）策略，首先学习通用的特征表示，然后逐渐将注意力放在尾部数据（样本量较少的数据）上。
提示：以下是本篇文章正文内容，下面案例可供参考
一、重平衡
重采样作为其中最重要的代表方法，可以划分为两大类：1). 过采样（over-sampling），简单的重复样本量少的数据类别。2). 欠采样(under-sampling)，减少样本量多的类别数据。但是这两种方法存在重大局限性，增加尾部数据可能会导致网络对尾部类别的过拟合，而丢弃宝贵的数据必然会削弱深度网络的泛化能力。
重赋值策略：重赋值策略是另一类代表方法，在损失函数中为尾部类的训练样本分配较大的权重。但是这类方法不适合处理大规模的，真实世界的长尾数据，并且容易造成优化困难。因此，后续工作中提出采用有效采样数代替采样比例，此后，还有研究者研究了训练样本的边界，设计了一个标签分布感知的损失，以鼓励尾部类别获得更大的边界。
二、整体架构
具体来说，针对特征学习和分类，设置了两个分支，分别为conventional learning branch和re-balancing branch。两个分支都利用相同的残差网络结构并且共享除最后一个残差块之外的所有结构的权重。假定X表示训练样本，y表示对应样本的类别标签，y 属于{1,2，…，C}。其中C是类别总数。对于双边分支，分别应用均匀采样和反向采样，得到两组样本（Xc,yc）和（Xr,yr）作为两个分支的输入数据。然后经过各自分支的特征提取和全局平均池化，得到相应的特征向量 fc,fr 。
然后，作者设计了一个特定的累积学习策略，可以在训练阶段将网络学习的“注意力”转移到两个分支之间。具体做法是，引入一个自适应的折中参数α控制分支得到的特征向量 fc和 fr的权重，加权之后的特征向量α*fc]和（1-α)fr被送到对应分支的分类器 Wc和 Wr中，得到的两个输出通过元素加的方式进行融合，因此，融合后的特征z可以表示为：
z是输出预测，一共C维，最后送入softmax后，得到预测类别。
接下来开始定义训练的损失函数，设E(·, ·)表示交叉熵损失函数，输出的概率分布为pˆ =[ˆp1, pˆ2, …, pˆC ]，因此，BBN的损失函数可以定义为：
总结
提示：这里对文章进行总结：
例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
标签：采样,15,04,网络,2021,类别,训练样本,数据,分支 来源： https://blog.csdn.net/u013740809/article/details/115740451