ECANet自学笔记

 可以看到ECANet取得了比SENet更好的效果。

ECANet思考了SENet的缺点：先降维经过处理之后在映射到高纬度。作者认为尽管这种迂回策略减少了一定的参数。但是他破坏了通道与注意力权重之间的直接对应关系。

 

 

var2是每个通道对应一个权重，var3是每个权重由前面的所有通道决定（类似于全连接层）

var2采用一个对角矩阵实现参数量少，但是没有通道交互。var3采用全矩阵实现有通道交互但是参数量大。

所以作者想到了将他们折中，采用分块卷积的思想，将他们分成小块每个都进行卷积效果图如下 

 可以发现效果并不好最高的77都没上，这是因为块与块之间并没有联系起来。

作者想到了另一种解决方案，采用带状矩阵。类似于一维卷积，采用长度为K的步长为1的卷积核

 这样既节省了参数量也使得各通道之间建立了联系。、

此时，另外一个问题也来了，K要设置为多少呢？随着网络的加深，通道数C的数量以2的次幂形式增加，如果把局部跨通道卷积核K设为某个定值，好像不太科学，应该是变化的才对，k和c之间存在某种对应关系，即

 

假设           

因为通道数C的数量以2的次幂形式增加，所以修改改函数为

代码： 

 

 

标签：ECANet,卷积,矩阵,笔记,自学,采用,数量,通道
来源： https://blog.csdn.net/m0_54146002/article/details/122155912