其他分享
首页 > 其他分享> > 信息论-信息不等式、数据处理不等式、信息图、Fano不等式

信息论-信息不等式、数据处理不等式、信息图、Fano不等式

作者:互联网

1.相关概念及关系:

(1)

 

 

 

  (2)相对熵 D( p | | q ):在p的概率分布下q比p多的信息量(个人理解)

 

(3)条件互信息量 I( X ; Y|Z ) : I( X ; Y|Z ) = H( X|Z )-H( X|Y,Z ).     理解:Y|Z是Y比Z多的信息量

  (4) 垂直符号:独立

 

2.链式法则:

 

3.Markov Chain(三元)

Markov Chain:某一时刻的信息只与其前若干时刻有关。

对 X->Y->Z:

性质1:X,Z相对于Y独立;

性质2:反过来的Z->Y->X也是Markov Chain

性质3:若Z=f(Y),则 X->Y->Z是Markov Chain

性质4: I( X ; Z|Y )=0

        I(X ; Y|Z)<I(X ;Y)

   注意:I(X ; Y|Z)<I(X ;Y)并不是恒成立,我不理解。。。

 

4.数据处理不等式:对Markov Chain X->Y->Z,I(X;Y)>= H(X;Z).   理解:数据处理的越多,丢失的信息越多

                                              ->I(X;Y)>= H(X;g(Y))


 

5.fano不等式

 



 

理解:错误趋于0时,可以从现象恢复出本质



 

*.救命

 

 



 

标签:不等式,Chain,信息量,信息,理解,Fano,数据处理,Markov
来源: https://www.cnblogs.com/yuhyuhy/p/_yuhyuhy_text_entropy_001.html