深度之眼PyTorch训练营第二期 --- 8、权值初始化

一、梯度消失与爆炸

二、Xavier方法与Kaiming方法

1、Xavier初始化

方差一致性：保持数据尺度维持在恰当范围，通常方差为1

激活函数：饱和函数，如Sigmoid，Tanh

三、常用初始化方法

10种：

Xavier均匀分布、正态分布

Kaiming均匀分布、正态分布

均匀分布、正态分布、常数分布

正交矩阵初始化

单位矩阵初始化

稀疏矩阵初始化

nn.init.Calculate_gain

主要功能：计算激活函数的方差变化尺度

主要参数

nonlinearity：激活函数名

param：激活函数的参数，如Leaky ReLU的negative_slop

标签：初始化,函数,方差,均匀分布,PyTorch,权值,Xavier,正态分布,之眼
来源： https://www.cnblogs.com/cola-1998/p/11818008.html