KL散度

 

 又称为相对熵，是描述两种分布之间差异的一种方法。具有非对称性。分布一致时KL散度为0。在VAE,EM,GAN中都有用到。

 

 

 

 

 

 相对熵和交叉熵的关系

交叉熵的公式：

 

 相对熵的公式：

 

标签：EM,交叉,公式,散度,KL,相对
来源： https://www.cnblogs.com/genmeng/p/16451704.html