信息论——随机变量生成、算术编码、LZ77, LZ78笔记
作者：互联网
随机变量生成：一种从具体到抽象的建模
这种建模可以用多叉树表示，每一个树叶表示一个事件。
关于这种树的深度有如下性质和定理：
这和熵的对数特征是吻合的。
我们当然希望树的深度尽量小。
树深度估计：
特殊情况（dyadic）下取等：
非特殊情况：（根据Kraft不等式知其存在）
Shannon-Fano-Elias编码衍生出算术编码：
如果我们不知道概率分布，我们之前很多编码理论都将失效。那怎么办呢？
前者对于数据量较大的情况可能还是比较乏力，这时后者似乎更优。
不知道概率分布时冗余估计：
神奇的是冗余最优化可以转化为信道容量问题：
Lempel-Ziv编码：
这个产生的过程跟微积分好像，似乎上帝总担心一个问题解决后人们就将其抛到脑后，进而人间又少了一种精妙的想法，这只得我们深思。
主要思想是移动窗口产生字典，然后重复部分用编码替代，进而压缩。
只理解了第二种qwq。。。
然后它是最优哒！
标签：编码,概率分布,建模,LZ77,深度,LZ78,随机变量,信息论,冗余 来源： https://www.cnblogs.com/yuhyuhy/p/_yuhyuhy_text_entropy_006.html