[杂记]激活函数SiLU和Swish的区别

从代码和公式来看，Swish包含了SiLU，换句话说SiLU是Swish的一种特例。

S i L U ( x ) = x ⋅ S i g m o i d ( x ) SiLU(x) = x \cdot Sigmoid(x) SiLU(x)=x⋅Sigmoid(x)

S w i s h ( x ) = x ⋅ S i g m o i d ( β x ) Swish(x) = x \cdot Sigmoid(\beta x) Swish(x)=x⋅Sigmoid(βx)

Swish原文：https://arxiv.org/pdf/1710.05941.pdf
SiLU的出处没有找到。

主要是Swish发文的时候SiLU已经有了，所以…这就很难说了

标签：Swish,SiLU,Sigmoid,cdot,杂记,https,pdf
来源： https://blog.csdn.net/qq_34451909/article/details/122496229