其他分享
首页 > 其他分享> > Yolo 一小时吃透 yolov4 & yolov5 原理

Yolo 一小时吃透 yolov4 & yolov5 原理

作者:互联网

一小时吃透 yolov4 & yolov5 原理

概述

Yolo 之父 Joe Redmon 在相继发布了 yolov1 (2015) yolov2 (2016), yolov2 (2018) 的两年后. 在 2020 年 2 月 20 号在 Twitter 上宣布退出 CV 界.
在这里插入图片描述
俄罗斯的 Alexey 大佬扛起了 Yolov4 的重任.

网络结构

yolov3:

在这里插入图片描述

yolov4:
在这里插入图片描述

BOF

BOF (Bag of Freebies) 是一种增加训练成本但是能显著提高精度的方法集.

在这里插入图片描述

数据增强

通过调整亮度, 对比度, 色调, 缩放, 剪切, 旋转等方法增加训练图像的多样性. 从而使得模型有更强的泛化能力 (Generaliztion Ability).

不同的数据增强对比:
在这里插入图片描述

马赛克数据增强

马赛克数据增强 (Mosaic Data Augmentation) 通过把四张图片随机裁剪混合成一张图片来实现数据增强. Yolov4 中使用的 Mostic 是 CutMix 的一种延伸. 例如:
在这里插入图片描述
Mosaic 的优点:

对抗训练

SAT (Self Adversaraial Training) 即对抗训练. 样本会被添加很小比例的噪声, 从而增加模型的泛化能力. 如图:在这里插入图片描述

Drop Block

Drop Block 会随机 drop 图片的一个区域从而增加学习的强度. 如图:
在这里插入图片描述
公式 (了解即可):
在这里插入图片描述
Drop Block 效果:
在这里插入图片描述

BOS

BOS (Bag of Specials) 指的是可以提升检测效果但只些微增加成本的一组方法.

SPPNet

SPPNet(Spatial Pyramid Pooling) 即金字塔池化, 可以帮助我们将图像切分成各种粗细级别, 然后整合特征.
在这里插入图片描述
金字塔池化解决了固定图像尺寸的限制 (最大池化), 并提高了提取特征的效率.

CSPNet

CSPNet (Cross Stage Partial Network) CSPNet 通过将梯度的变化从头到尾地集成到特征图中, 在减少了计算量的同时可以保证准确率.
在这里插入图片描述
如上图, 将一层分为两部分. 一半不进行操作直接连接, 另一半进行卷积操作.

CBAM

CBAM (Convolutional Block Attention Module) 注意力模块, 通过空间和通道两个维度推断出注意力权重. 然后与原特征相乘来对特征进行自适应调整.
在这里插入图片描述

通道注意力模块:
在这里插入图片描述
特征的每一个通道都代表一个专门的检测器. 通道注意力是关注什么样的特征是有意义的.

空间注意力模块:
在这里插入图片描述引入空间注意力模块来关注哪里的特征是有意义的.

Yolo4 对空间注意力模块进行了简化:
在这里插入图片描述

PANet

PANet (Path Aggregation Network) 路径聚合网络, 通过添加自下而上的路径增强缩短了较低层和顶层之间的信息路径. 高层神经元反映了整个目标, 底层神经元反映了目标的基础信息.

在这里插入图片描述

yolov5 PanNet 流程:
在这里插入图片描述在这里插入图片描述

损失函数

标签平滑

标签平滑 (Label Smoothing) 是一种损失函数的修正, 可以帮助我们提高图像分类的准确性. 标签平滑将神经网络的训练目标从 “1” 调整为 “1 - 标签平滑矫正”.

在这里插入图片描述
标签平滑可以帮助我们在一定程度上避免过拟合, 帮助我们提高模型对新数据的预测能力.

未使用标签平滑:
在这里插入图片描述
使用标签平滑:
在这里插入图片描述
我们可以看出, 通过标签平滑, 分类的簇更紧密, 簇间距离更大.

IOU

在计算 IOU (Intersection over Union) 也就是交并比.
在这里插入图片描述

在使用 IOU 的时候我们会发现 2 个问题:

  1. 当预测框和实际框没有交集的时候 IOU 的值为 0, 我们就无法完成梯度计算
  2. IOU 无法精确反映预测框和真实框的重合度大小.

在这里插入图片描述
如图, 三种情况 IOU 都相同. 但是重合度依左往右递减.

GIOU

GIOU (Generalized Intersection over Union) 引入了最小封闭形状的概念, 如图中的 C:
在这里插入图片描述
GIOU 能在预测框和真实框不重叠的情况下能让预测框尽可能朝着真实框前进.

在这里插入图片描述
但在重叠的情况下, 就会产生一个问题 GIOU 的值会相等.

DIOU

DIOU (Distance IOU) 在 GIOU 的基础上添加了距离.
在这里插入图片描述

公式:
在这里插入图片描述

在这里插入图片描述

优点:

CIOU

CIOU (Complete IOU) 在 DIOU 的基础上增加了回归三要素: 重叠面积, 中心点距离, 长宽比. Yolov4 使用的就是 CIOU.

公式:
在这里插入图片描述

对比

在这里插入图片描述

DIOU-NMS

DIOU-NMS (Distance Intersection of Union None Maximal Suppression) 是 NMS (None Maximal Suppression) 的升级版.

公式:
在这里插入图片描述

在这里插入图片描述
当两个不同物体挨得很近时, 由于 IOU 值比较大, 往往经过 NMS 处理后, 就只剩下一个检测框, 这样会导致漏检的错误情况发生. DIOU-NMS 不仅考虑了 IOU, 还考虑了两个框中心点的距离, 从而避免相邻物体被过滤的情况.

SOFT-NMS

SOFT-NMS 在 NMS 的基础上用降分机制取代了直接剔除. 当 M 为当前得分最高框, Bi 为待处理框, Bi 和 M 的 IOU 越大, Bi 的得分 Si 就下降的越厉害.
在这里插入图片描述

Mish 激活函数

Mish (Self Regularized Non-Monotonic Neural Activation) 自正则的非单调神经激活函数, 一个可能比 Relu 都牛逼的激活函数. 平滑的激活函数允许更好的信息深入神经网络, 从而得到更好的准确性和泛化.
在这里插入图片描述
公式:
在这里插入图片描述

Mish 激活函数 vs 其他的激活函数:
在这里插入图片描述

网络敏感性

消除网络敏感性 (Eliminate Grid Sensitivity) 通过在逻辑回归激活函数前面乘上一个大于 1 的系数来避免网络难以达到边界.

在这里插入图片描述
坐标回归的预测值都在 0~1 之间. 如果左边落在了边界就很难达到.
在这里插入图片描述
当 bx=cx 和 bx=cx+1 这两种情况, 按照 Sigmod 激活函数必须得到一个极大的负值或正值才能使得 损失很小. 但如果修改公式使 σ 乘以一个系数, 那么要得到较小的损失则容易得多.

公式:
在这里插入图片描述

标签:yolov5,yolov4,NMS,标签,IOU,Yolo,DIOU,平滑,函数
来源: https://blog.csdn.net/weixin_46274168/article/details/118450294