其他分享
首页 > 其他分享> > 交叉熵损失函数

交叉熵损失函数

作者:互联网

ref: https://blog.csdn.net/b1055077005/article/details/100152102 总结一下 加深记忆

一般使用交叉熵作为损失函数时,在模型的输出层总会接一个softmax函数,这是为什么呢?

交叉熵简介:

交叉熵是信息论中的一个重要概念,主要用于度量两个概率分布间的差异性,要理解交叉熵,需要先了解以下几个概念。

信息量

信息奠基人香农(Shannon)认为“信息是用来消除随机不确定性的一种东西”,也就是说衡量信息量的大小就是看这个信息消除不确定性的程度。

“太阳从东边升起”,这条信息并没有减少不确定性,因为太阳肯定是从东边升起的,这是一句废话,信息量为0.

“2018年中国队成功进入世界杯”。从直觉上来看,这句话具有很大信息量。因为中国队进入世界杯的不确定性因素很大。而这句话消除了进入世界杯的不确定性,所以按照定义,这句话的信息量很大。

根据上述描述,总结如下:信息量的大小与信息发生的概率成反比。概率越大,信息量越小。概率越小,信息量越大。

设某一事件发生的概率为P(x),其信息量表示为:

I(x)=−log(P(x))

其中I(x)表示信息量,这里log表示以e为底的自然对数。

信息熵

信息熵也被成为熵,用来表示所有信息量的期望。

概率论和统计学中,数学期望(mean)(或均值,亦简称期望)是试验中每次可能结果的概率乘以其结果的总和,是最基本的数学特征之一。它反映随机变量平均取值的大小。

所以信息量的熵可以表示为:(这里的X是一个离散型随机变量)

 

标签:不确定性,概率,函数,世界杯,交叉,信息量,损失,信息
来源: https://www.cnblogs.com/ariel-dreamland/p/14003755.html