定义

在数学，尤其是概率论相关领域中，Softmax函数，或称归一化指数函数，是逻辑函数的一种推广。它能将一个含任意实数的K维向量\(z\)压缩到另一个K维向量\(\sigma(z)\)，使得每个元素都在（0，1）之间，并且所有元素的和为1。Softmax函数计算方式如下：
\(\sigma(\mathbf{z})_j = \frac{e^{z_j}}{\sum_{k=1}^K e^{z_k}}\) for j = 1...K

避免溢出

对于指数函数，若\(z\)很大，超过float表示范围，那么会出现上溢出；若\(z\)很小，超过有效精度表示就会获得0，如果分母为0，那么会出现下溢出。
可以通过分子分母同时除\(max(z)\)来避免上下溢出。
\(\sigma(\mathbf{z})_j = \frac{e^{z_j - max(z)}}{\sum_{k=1}^K e^{z_k - max(z)}}\) for j = 1...K
这时，指数的幂次最大为0，避免了上溢出，同时分母必定大于1，从而避免了下溢出。

代码实现

import numpy as np

z = np.array([1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0])
print(np.exp(z - np.max(z)) / sum(np.exp(z - np.max(z))))

标签：函数,max,sum,Softmax,np,sigma,溢出
来源： https://www.cnblogs.com/hyserendipity/p/16579785.html