其他分享
首页 > 其他分享> > 深度学习笔记-上溢和下溢

深度学习笔记-上溢和下溢

作者:互联网

上溢和下溢

下溢:指当一个接近于0的数字被四舍五入为0,这在某些方程中是非常致命的。比如除数下溢,导致程序异常。

上溢:当大数量级的数被近似为正负\(\infty\)时,之后的运算都可能返回非数字。比如指数运算。

对于这两种情况,我们需要进行数值稳定



对Softmax进行数值稳定

softmax函数的定义如下

\[softmax(\mathbb x)_i=\frac{e^{x_i}}{\sum_{j=1}^n e^{x_j}} \]

异常

如果输入向量\(x\)中的所有值都非常小,这可能会导致分母的\(e^x\)也非常小,最终分母被四舍五入为0,导致程序异常。

向量\(x\)的所有值很大,分子分母都会上溢,最终也无法得到函数的正确结果。


数值稳定

为了解决这个问题,我们可以将输入改为\(z\),\(z\)是\(**x\)和向量中最大值的差**。

这样处理后,我们的最大输入就是0(最大值-最大值),避免了上溢的可能。并且保证了分母至少有一个1(\(e^{最大值-最大值=0}\)),也避免了分母为下溢为0的可能。

\[z=x_i-max(x) \]

标签:下溢,四舍五入,最大值,笔记,上溢,分母,向量
来源: https://www.cnblogs.com/hikari-1994/p/14691582.html