SOTA激活函数学习

除了之前较为流行的RELU激活函数，最近又新出了几个效果较好的激活函数

一、BERT激活函数

二、Mish激活函数

公式如下：

函数图如下：

橙色曲线为：ln(1+e^(x))

蓝色曲线为：Mish函数

标签：BERT,函数,Mish,SOTA,曲线,如下,激活
来源： https://www.cnblogs.com/gczr/p/11788271.html