全连接-普通卷积-深度可分离卷积-分组卷积-计算量和参数量

1. 一个全连接的参数量：
   p a r a m s = ( N i + 1 ) × N o params=(N_i+1)\times{N_o} params=(Ni​+1)×No​
   其中， N i N_i Ni​ 表示输入特征向量权重个数， N o N_o No​ 表示输出特征向量的权重个数，+1表示偏置，直接理解参数量与输入输出个数有关。

2. 一个全连接的计算量：
   F L O P s = [ I i + ( I i − 1 ) + 1 ] × I o FLOPs= [I_i+(I_i-1)+1]\times{I_o} FLOPs=[Ii​+(Ii​−1)+1]×Io​
   其中， I i I_i Ii​ 表示输入特征数， I i − 1 I_i-1 Ii​−1 表示加法次数，+1表示偏置， I o I_o Io​ 表示输出的特征个数，也是与输入输出个数有关。（注： F L O P S FLOPS FLOPS 指的是机器每秒浮点运算次数，衡量硬件指标，与 F L O P s FLOPs FLOPs 是浮点运算数，理解为模型计算量）

3. 一层卷积的参数量：
   p a r a m s = ( k w × k h × C i + 1 ) × C o params = (k_w\times{k_h}\times{C_{i}}+1)\times{C_o} params=(kw​×kh​×Ci​+1)×Co​
   其中， k w k_w kw​ 和 k h k_h kh​ 是卷积核的宽和高， C i C_i Ci​ 和 C o C_o Co​ 表示输入通道和输出通道，+1表示偏置，若 k w k_w kw​ 和 k h k_h kh​ 相等，则为 ( k 2 × C i + 1 ) × C o (k^2\times{C_i+1})\times{C_o} (k2×Ci​+1)×Co​ ，可以理解为参数量只与卷积核和输入输出通道有关。

4. 一层卷积的计算量：
   F L O P s = [ ( C i × k w × k h ) + ( C i × k w × k h − 1 ) + 1 ] × C o × W i × H i FLOPs = \left[(C_i\times{k_w\times{k_h}})+(C_i\times{k_w\times{k_h-1}})+1\right]\times{C_o\times{W_i}\times{H_i}} FLOPs=[(Ci​×kw​×kh​)+(Ci​×kw​×kh​−1)+1]×Co​×Wi​×Hi​
   其中，第一个小括号表示乘法运算量，第二个小括号表示加法运算量(可以理解为一次卷积多少个数相加减1)，+1表示偏置， C o C_o Co​ 表示输出通道数， W i W_i Wi​ 是输入的宽， H i H_i Hi​ 是输入的高，可以理解为计算量与卷积核和输入输出通道以及输入的大小有关。

5. 深度可分离卷积：
   
   给定一个 D F × D F × M D_F\times{D_F}\times{M} DF​×DF​×M 的特征图生成一个 D F × D F × N D_F\times{D_F}\times{N} DF​×DF​×N 的特征图

   正常卷积核尺寸： D K × D K × M × N D_K\times{D_K}\times{M}\times{N} DK​×DK​×M×N ，计算量为： 2 ( M × D K × D K ) × D F × D F 2(M\times{D_K\times{D_K}})\times{D_F}\times{D_F} 2(M×DK​×DK​)×DF​×DF​， 深度可分离卷积中，深度卷积尺寸是 D K × D K × M D_K\times{D_K}\times{M} DK​×DK​×M ，每个卷积核的通道数为1， 2 ( M × D K × D K ) × D F × D F 2(M\times{}D_K\times{D_K})\times{D_F}\times{D_F} 2(M×DK​×DK​)×DF​×DF​；点卷积尺寸是 M × 1 × 1 × N M\times1\times{1}\times{N} M×1×1×N， 每个卷积核尺寸是 1 × 1 1\times1 1×1 ，计算量是 2 × M × N × D F × D F 2\times{M}\times{N}\times{D_F}\times{D_F} 2×M×N×DF​×DF​, 都按照正常卷积的公式带入即可，所以深度可分离卷积的计算量是：
   2 ( D K × D K ) × N × D F × D F + 2 ( M × N × D F × D F ) 2(D_K\times{D_K})\times{N}\times{D_F}\times{D_F} + 2(M\times{N}\times{D_F}\times{D_F}) 2(DK​×DK​)×N×DF​×DF​+2(M×N×DF​×DF​)
   所以深度可分离卷积与传统卷积的计算量之比：
   2 ( M × D K × D K ) × D F × D F + 2 ( M × N × D F × D F ) 2 ( M × D K × D K ) × N × D F × D F = 1 N + 1 D K 2 \frac{2(M\times{}D_K\times{D_K})\times{D_F}\times{D_F}+2(M\times{N}\times{D_F}\times{D_F})}{2(M\times{D_K}\times{D_K})\times{N}\times{D_F}\times{D_F}} = \frac{1}{N}+\frac{1}{D_K^2} 2(M×DK​×DK​)×N×DF​×DF​2(M×DK​×DK​)×DF​×DF​+2(M×N×DF​×DF​)​=N1​+DK2​1​
   所以3x3的深度可分离卷积减少8-9倍的计算量，而精度只降低一点。先进行深度卷积再进行点卷积以此分离正常的卷积步骤。

   理解深度可分离卷积的过程下面这张图更好理解：
   

6. 分组卷积：
   

   第一张图是正常卷积，第二张图是分组卷积，对于正常卷积的参数量是 h 1 × w 1 × c 1 × c 2 h_1\times{w_1}\times{c_1}\times{c_2} h1​×w1​×c1​×c2​ ，对于分组卷积的参数量指的是 h 1 × w 1 × c 1 g × c 2 g × g h_1\times{w_1}\times{\frac{c_1}{g}}\times{\frac{c_2}{g}}\times{g} h1​×w1​×gc1​​×gc2​​×g ，可以这样解释：原特征图分成 g g g 组，每一组生成 c 2 g \frac{c_2}{g} gc2​​ 通道的特征图， h 1 × w 1 × c 1 g × c 2 g h_1\times{w_1}\times{\frac{c_1}{g}}\times{\frac{c_2}{g}} h1​×w1​×gc1​​×gc2​​ 的含义是一组的参数，一共有 g g g 组所以得到参数如上所述。所以分组卷积的参数量是标准卷积的 1 g \frac{1}{g} g1​ ，所以分组卷积减少参数量。

   分组卷积的作用：减少参数量，可以看成稀疏操作(相当于正则化操作)，当输入输出特征图数量一致时就是深度卷积。

   这张图更容易理解分组卷积：
   
   参考链接：
   神经网络中的参数量和计算量
   CNN模型复杂度(FLOPs、MAC)、参数量与运行速度
   深度可分离卷积
   深度学习_卷积神经网络_分组卷积
   理解分组卷积和深度可分离卷积如何降低参数量
   CNN模型复杂度（FLOPs、MAC）、参数量与运行速度

标签：frac,DK,卷积,times,DF,分组,深度,FLOPs
来源： https://blog.csdn.net/weixin_44605171/article/details/120244629