首页 > 其他分享> > Softmax与Cross-entropy的求导

Softmax与Cross-entropy的求导

2020-06-16 22:37:18 作者：互联网

引言

在多分类问题中，一般会把输出结果传入到softmax函数中，得到最终结果。并且用交叉熵作为损失函数。本来就来分析下以交叉熵为损失函数的情况下，softmax如何求导。

对softmax求导

softmax函数为:

$y_i = \frac{e^{z_i}}{\sum_{k=1}^K e^{z_k}}$ yi=∑k=1Kezkezi

这里 $K$ K是类别的总数，接下来求 $y_i$ yi对某个输出 $z_j$ zj的导数,
$\frac{\partial y_i}{\partial z_j} = \frac{\partial \frac{e^{z_i}}{\sum_{k=1}^K e^{z_k}}}{\partial z_j}$ ∂zj∂yi=∂zj∂∑k=1Kezkezi

这里要分两种情况,分别是 $i=j$ i=j与 $i \neq j$ i=j。当 $i=j$ i=j时, $e^{z_i}$ ezi对 $z_j$ zj的导数为 $e^{z_i}$ ezi，否则当 $i \neq j$ i=j时，导数为 $0$ 0。

当 $i = j$ i=j，
$\frac{\partial y_i}{\partial z_j} = \frac{e^{z_i}\cdot \sum_{k=1}^K e^{z_k} - e^{z_i} \cdot e^{z_j} }{(\sum_{k=1}^m e^{z_k})^2} \\ = \frac{e^{z_i}}{\sum_{k=1}^m e^{z_k}} - \frac{e^{z_i}}{\sum_{k=1}^m e^{z_k}} \cdot \frac{e^{z_j}}{\sum_{k=1}^m e^{z_k}} \\ = y_i - y_i^2 = y_i(1 - y_i)$ ∂zj∂yi=(∑k=1mezk)2ezi⋅∑k=1Kezk−ezi⋅ezj=∑k=1mezkezi−∑k=1mezkezi⋅∑k=1mezkezj=yi−yi2=yi(1−yi)

当 $i \neq j$ i=j，
$\frac{\partial y_i}{\partial z_j} = \frac{0 \cdot \sum_{k=1}^K e^{z_k} - e^{z_i} \cdot e^{z_j}}{(\sum_{k=1}^m e^{z_k})^2} \\ = - \frac{e^{z_i}}{\sum_{k=1}^m e^{z_k}} \cdot \frac{e^{z_j}}{\sum_{k=1}^m e^{z_k}} \\ = - y_i y_j$ ∂zj∂yi=(∑k=1mezk)20⋅∑k=1Kezk−ezi⋅ezj=−∑k=1mezkezi⋅∑k=1mezkezj=−yiyj

对cross-entropy求导

损失函数 $L$ L为:

$L = -\sum_k \hat y_k \log y_k$ L=−k∑y^klogyk

其中 $\hat y_k$ y^k是真实类别，相当于一个常数，接下来求 $L$ L对 $z_j$ zj的导数

$\frac{\partial L}{\partial z_j} = \frac{\partial -(\sum_k \hat y_k \log y_k)}{z_j} = \frac{\partial -(\sum_k \hat y_k \log y_k)}{\partial y_k} \frac{\partial y_k}{\partial z_j} \\ = -\sum_k \hat y_k \frac{1}{y_k} \frac{\partial y_k}{z_j} \\ = \left(-\hat y_k \cdot y_k(1 - y_k) \frac{1}{y_k} \right)_{k=j} - \sum_{k \neq j} \hat y_k \frac{1}{y_k} (-y_ky_j) \\ = -\hat y_j (1 - y_j) - \sum_{k \neq j} \hat y_k (-y_j) \\ = -\hat y_j + \hat y_j y_j + \sum_{k \neq j} \hat y_k (y_j) \\ = -\hat y_j + \sum_{k} \hat y_k (y_j) \\ = -\hat y_j + y_j \\ = y_j -\hat y_j$ ∂zj∂L=zj∂−(∑ky^klogyk)=∂yk∂−(∑ky^klogyk)∂zj∂yk=−k∑y^kyk1zj∂yk=(−y^k⋅yk(1−yk)yk1)k=j−k=j∑y^kyk1(−ykyj)=−y^j(1−yj)−k=j∑y^k(−yj)=−y^j+y^jyj+k=j∑y^k(yj)=−y^j+k∑y^k(yj)=−y^j+yj=yj−y^j

这里用到了 $\sum_{k} \hat y_k = 1$ ∑ky^k=1

可以看到，求导结果非常简单，如果不推倒都不敢信。

标签：yk,frac,sum,Cross,entropy,Softmax,partial,hat,ezi
来源： https://blog.csdn.net/yjw123456/article/details/106767782