另辟新径：用数学极限的眼光看神经网络中的激活函数

一、数学先验知识：

二、激活函数推导

a)、Relu

b)、Leaky Relu

c)、ELU

用公式(1-1)中e^x-1代替Leaky Relu 中x<0时的x，则有

d)、其他激活函数

对这个式子进行化简，看看其等价于什么？当然，前提默认是在当

标签：函数,公式,Relu,另辟,神经网络,等价,新径,激活,Leaky
来源： https://www.cnblogs.com/wangyong/p/14252576.html