其他分享
首页 > 其他分享> > 经典CNN结构之MobileNet v1/v2/v3 路转峰回

经典CNN结构之MobileNet v1/v2/v3 路转峰回

作者:互联网

序言

顾名思义,mobilenet面向移动端的网络计算模型。
MobileNet系列是很重要的轻量级网络家族,2017年Google出品后,迅速衍生了V1/V2/V3三个版本。

网络结构

图解

MobileNetV1

mobilenetv1

MobileNetV2

mobilenetv2

MobileNetV3

MobileNetV3-Large
paper-figure-1
MobileNetV3-Small
paper-figure-2

详解

MobileNetV1

一言以蔽之,见图:
paper-figure-2
paper-figure-3
除此之外,引入了两个超参数
*【Width Multiplier(α \alphaα): Thinner Models】*α∈(0,1] with typical settings of 1, 0.75, 0.5 and 0.25,降低模型的宽度;
*【Resolution Multiplier(ρ \rhoρ): Reduced Representation】*ρ∈(0,1] 降低输入图像的分辨率。

MobileNetV2

Inverted residuals】操作:先通过[1X1]卷积扩大通道数再进行[3X3]卷积,最后再通过[1X1]卷积缩小回原来的通道数。目的:通过先将通道数扩大在中间层学到更多的特征,再提炼出更好表现力的特征出来。
Linear bottlenecks】操作:经过[1X1]卷积缩小通道数后,不再采用Relu激活,而是采用Linear激活,然后进行EltwiseSum操作。目的:避免Relu函数对特征的损失。
如图所示:
paper-figure-3
paper-figure-4

MobileNetV3

基于AutoML构建,再利用人工微调对搜索结果进行优化,使用了platform-aware NAS以及NetAdapt的搜索方法,分别用于全局搜索以及局部搜索,而人工微调则调整了网络前后几层的结构、bottleneck加入SE模块以及提出计算高效的h-swish非线性激活。
MobileNetV3分为MobileNetV3-Large和MobileNetV3-Small两个版本。

创新思想

核心点

MobileNetV1

1. Depthwise Separable Convolution
2. Pointwise Convolution

MobileNetV2

引入了ResNet的残差结构,主要是指倒残差结构(the inverted residual with linear bottleneck)。

MobileNetV3

引入了资源受限的NAS(platform-aware NAS)与NetAdapt技术。

感悟点

。。。。。。

论文复现

参考论文

1.MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
2.MobileNetV2: Inverted Residuals and Linear Bottlenecks
3.Searching for MobileNetV3
4.MobileNet系列网络详细解读
5.MobileNet V1、V2、V3网络结构

代码实现

Mobilenetv2 source code.Available from https://github.com/tensorflow/models/tree/master/research/slim/nets

标签:路转,Linear,MobileNet,MobileNetV2,MobileNetV3,MobileNetV1,峰回,卷积
来源: https://blog.csdn.net/yueyueniaolzp/article/details/104014065