经典CNN结构之MobileNet v1/v2/v3 路转峰回
作者:互联网
序言
顾名思义,mobilenet面向移动端的网络计算模型。
MobileNet系列是很重要的轻量级网络家族,2017年Google出品后,迅速衍生了V1/V2/V3三个版本。
网络结构
图解
MobileNetV1
MobileNetV2
MobileNetV3
MobileNetV3-Large
MobileNetV3-Small
详解
MobileNetV1
一言以蔽之,见图:
除此之外,引入了两个超参数
*【Width Multiplier(α \alphaα): Thinner Models】*α∈(0,1] with typical settings of 1, 0.75, 0.5 and 0.25,降低模型的宽度;
*【Resolution Multiplier(ρ \rhoρ): Reduced Representation】*ρ∈(0,1] 降低输入图像的分辨率。
MobileNetV2
【Inverted residuals】操作:先通过[1X1]卷积扩大通道数再进行[3X3]卷积,最后再通过[1X1]卷积缩小回原来的通道数。目的:通过先将通道数扩大在中间层学到更多的特征,再提炼出更好表现力的特征出来。
【Linear bottlenecks】操作:经过[1X1]卷积缩小通道数后,不再采用Relu激活,而是采用Linear激活,然后进行EltwiseSum操作。目的:避免Relu函数对特征的损失。
如图所示:
MobileNetV3
基于AutoML构建,再利用人工微调对搜索结果进行优化,使用了platform-aware NAS以及NetAdapt的搜索方法,分别用于全局搜索以及局部搜索,而人工微调则调整了网络前后几层的结构、bottleneck加入SE模块以及提出计算高效的h-swish非线性激活。
MobileNetV3分为MobileNetV3-Large和MobileNetV3-Small两个版本。
创新思想
核心点
MobileNetV1
1. Depthwise Separable Convolution
2. Pointwise Convolution
MobileNetV2
引入了ResNet的残差结构,主要是指倒残差结构(the inverted residual with linear bottleneck)。
MobileNetV3
引入了资源受限的NAS(platform-aware NAS)与NetAdapt技术。
感悟点
。。。。。。
论文复现
参考论文
1.MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
2.MobileNetV2: Inverted Residuals and Linear Bottlenecks
3.Searching for MobileNetV3
4.MobileNet系列网络详细解读
5.MobileNet V1、V2、V3网络结构
代码实现
标签:路转,Linear,MobileNet,MobileNetV2,MobileNetV3,MobileNetV1,峰回,卷积 来源: https://blog.csdn.net/yueyueniaolzp/article/details/104014065