其他分享
首页 > 其他分享> > 23:normlize规范化-batch normalization

23:normlize规范化-batch normalization

作者:互联网

1:为什么要进行normolize

 

 【注】1:希望把输入的值控制在有效的范围内

 

 【注】希望能够进行高效的查询最优解。例如:当x2值大,x1值偏小时,w1的改变导致的影响较小,w2的改变导致的影响较大。

2:Normlization的种类

 

 3:Batch Norm

 

【注】Batch Norm实际统计的会得到一个维度为1大小为channel的tensor。其统计的时每一个channel的均值和方差。

 

 【注】

标签:channel,normlize,Batch,batch,normalization,w1,Norm,w2
来源: https://www.cnblogs.com/jiafeng1996/p/15101102.html