Xavier、kaiming分布

Xavier在tanh中表现的很好，但在Relu激活函数中表现的很差，所何凯明提出了针对于relu的初始化方法。pytorch默认使用kaiming正态分布初始化卷积层参数。

(1)kaiming均匀分布

U(−bound,bound)

(2)kaiming正态分布

N(0,std)

标签：初始化,凯明,kaiming,bound,分布,Xavier,正态分布
来源： https://www.cnblogs.com/DDBD/p/14108027.html