熵（未完）

原文链接：https://blog.csdn.net/v_JULY_v/article/details/40508465

熵的概念最早起源于物理学，用于度量一个热力学系统的无序程度。在信息论里面，熵是对不确定性的测量。如果没有外部能量输入，封闭系统趋向越来越混乱（熵越来越大）。比如，如果房间无人打扫，不可能越来越干净（有序化），只可能越来越乱（无序化）。而要让一个系统变得更有序，必须有外部能量的输入。

熵：如果一个随机变量X的可能取值为X = {x1, x2,…, xk}，其概率分布为P(X = xi) = pi（i = 1,2, …, n），则随机变量X的熵定义为：

参考：https://blog.csdn.net/v_JULY_v/article/details/40508465

标签：,blog,csdn,details,https,JULY,net
来源： https://blog.csdn.net/qq_43152949/article/details/100097793