【论文阅读】RepVGG: Making VGG-style ConvNets Great Again

原始题目：RepVGG: Making VGG-style ConvNets Great Again
中文翻译：RepVGG: 让 VGG-风格的卷积网络们 再次伟大
发表时间：2021年1月11日
平台：CVPR-2021
来源：旷世科技
文章链接：https://arxiv.org/pdf/2101.03697.pdf
开源代码：https://github.com/megvii-model/RepVGG

这名字 Trump 直呼内行。

摘要

我们提出了一种简单但功能强大的卷积神经网络结构，在推理时间它具有一个类似VGG的结构，除了3 × 3 卷积和ReLU的堆叠，不包含任何东西。在训练时间，模型有多分支拓扑（multi-branch topology）。

通过结构重参数化技术实现了训练时间和推理时间架构的解耦，从而将模型命名为RepVGG。在ImageNet上，RepVGG达到80%以上的top-1精度，据我们所知，这是一个普通（plain）模型第一次达到这种精度。在NVIDIA 1080Ti GPU上，RepVGG模型的运行速度比ResNet-50快83%，比ResNet-101快101%，精度更高，与最先进的模型(如EfficientNet和RegNet)相比，显示了良好的 accuracy-speed 权衡。

5.结论

我们提出了一种简单的 3 × 3 conv和ReLU 堆叠的RepVGG架构，特别适用于GPU和专门的推理芯片。使用我们的结构重参数化（re-parameterization）方法，它在ImageNet上达到了80%以上的top-1精度，与最先进的模型相比，显示了良好的 speed-accuracy权衡。

一个经典的卷积神经网络(ConvNet)，VGG[31]在图像识别方面取得了巨大的成功，其简单的架构由一堆conv、ReLU和 pooling 组成。随着Inception [33, 34, 32, 19]， ResNet[12]和DenseNet[17]的出现，很多研究的兴趣转移到精心设计的架构上，使得模型越来越复杂。最近的一些架构是基于自动[44,29,23]或手动[28]架构搜索，或者搜索复合(compound)缩放策略[35]。

虽然许多复杂的ConvNets提供了比简单的网络更高的精度，缺点是显著的。

1. 复杂的多分支设计(如ResNet中的残差相加（ residual-addition）和Inception中的分支拼接（branch-concatenation)使得模型难以实现和定制，降低了推理速度和内存利用率。

2. 一些组件(例如，Xception[3]和MobileNets[16,30]中的 depthwise conv 和ShuffleNets[24, 41]中的 channel shuffle)增加了内存访问成本，并且缺乏各种设备的支持。

由于影响推断速度的因素太多，浮点运算的数量（floating-point operations (FLOPs)）不能准确地反映实际速度。虽然一些新型的模型比老式的像VGG和ResNet-18/34/50[12]有更低的FLOPs，但它们可能不会跑得更快(表4)。因此，VGG和ResNets的原始版本仍然大量用于学术界和工业界的实际应用。

表4:在ImageNet上用简单的数据增强训练120个epochs的结果。在1080Ti上测试速度，batch size 大小为128，全精度(fp32)，并以 examples/second 测量。我们计算理论 上的 FLOPs和 Wino MULs，如第2.4节所述。基线是我们用相同的训练设置实现的。

在本文中，我们提出了RepVGG，这是一种 VGG 风格的架构，它优于许多复杂的模型(图1)。RepVGG具有以下优点：

图1:在ImageNet上 Top-1 accuracy与 实际速度的对比。
左:轻量级和中量级的RepVGG和120个 epochs 训练的基线。右:200个epochs训练的重量级模型。在相同的1080Ti上测试速度，batch size 大小为128，全精度(fp32)，single crop，并以 examples/second 测量。EfficientNet-B3[35]的输入分辨率为300，其他的为224。

标签：RepVGG,style,架构,Again,模型,VGG,ResNet,精度
来源： https://www.cnblogs.com/odesey/p/16563090.html