参考https://www.jianshu.com/p/43318a3dc715
看完这篇博文之后我几乎明白了熵值和KL散度的意义。

熵值

以下是熵值的计算公式：

根据我的理解，熵值是用来衡量传输某数据的分布概率值要使用的存储空间，熵值公式中的p(x)就是某数据出现的概率，例如有两颗蛀牙的概率为p(2)。最多有10颗牙，则N=10；

log的底数是任意的，当底数是2时，则logp(x)则代表传输这个概率值需要的比特位数，再乘以这个概率值p(x)本身，就是代表求期望的意思了。

所以熵值就代表传输这个数据的一个分布概率值所要使用的最少比特。

熵的主要作用是告诉我们最优编码信息方案的理论下界（存储空间），以及度量数据的信息量的一种方式。理解了熵，我们就知道有多少信息蕴含在数据之中。

K-L散度

以下截取参考博文的内容：

p是有多少个蛀牙的观察得到的概率分布，q是我想节省传输的数据另外构造的一个分布，这样KL散度的意义就很显然是用来度量我用q分布来编码数据x时的信息损失。如果log底数是2的话，就表示信息损失的二进制位数。

标签：概率,底数,散度,传输,理解,KL,数据
来源： https://blog.csdn.net/z2876563/article/details/113914931