PyTorch笔记--Softmax函数求导

softmax是非线性激活函数的一种。它将神经元的输出变换到(0,1)的区间内。

 需要注意的是对应的是分子中的指数项，而与分母是无关的。

下面对进行求导,

这里分为两种情况。

j==i

 另一种情况是

j!=i

 就是要注意对求导时，S的分子的指数项哪一项，刚好是还是别的项，这将直接影响求导的最终结果。

标签：分子,函数,--,PyTorch,Softmax,求导
来源： https://www.cnblogs.com/xxmrecord/p/15127710.html