接触AI也挺久了，一会儿来个最大熵模型，一会儿来个交叉熵损失函数，一会儿来个DL散度，搞了半天，熵在我眼里还是个公式：

那么这东西怎么理解呢？

根据统计热力学的基本结论，系统和周围环境处于热平衡时，一个基本的结果是，状态i发生的概率可以表示为：

这里的Z，k和T都是常数，Ei表示系统在状态i时的能量。

一个系统中，所有状态的概率之和应该为1，所以pi的和为1，进而可以得到：

这个表达式，其实就是概率图模型中常见的配分函数，将概率归一化。因为k和T都是常数，简化表达：

此时，用F表示自由能，根据上面的方程得到：

系统的平均能量可以用下面的式子计算，<>表示总体平均：

平均能量和自由能的差为：

如果忽略温度T，用H代替左边就得到了如下表示，和熵的表示是一样：

根据对熵的理解，熵就是衡量系统的无序程度，系统越无序，熵越大。平均能量与自由能量的差值越大，也代表系统的无序状态越大，是一个意思。这样就理解了熵。

 

标签：表示,这个,来个,东西,系统,无序,概率,终于,能量
来源： https://blog.csdn.net/zjh12312311/article/details/114710902