首页 > TAG信息列表 > Divergence
KL散度（距离）和JS散度（距离）
两者都可以用来衡量两个概率分布之间的差异性。JS散度是KL散度的一种变体形式。 KL散度：也称相对熵、KL距离。对于两个概率分布P和Q之间的差异性（也可以简单理解成相似性），二者越相似，KL散度越小。 KL散度的性质：●非负性。即KL散度大于等于零。 ●非对称性。即运算时交换P和Q的位置，机器学习中的数学——距离定义（二十四）：Bregman散度（Bregman Divergence）
F-散度已经可以表达我们提到的所有散度，目前为止它是最通用的散度形式。但很多文章也会出现另一种叫做Bregman的散度，它和F-散度不太一样，是另一大类散度。 我们以欧几里得距离举例，即 n n n维KL散度(Divergence)
一、信息量 首先我们要懂信息量的概念，任何一个事件都会承载一个信息量。当一件事情发生的概率很高时，他承载的信息量就越少，例如“1+1=2”这个事情我们是已知的，所以当别人告诉我们这件事时我们不能获取任何信息，即信息量为0，但是”中国足球世界杯夺冠”这件事给我们的信息量是巨JS散度(Jensen–Shannon divergence)
1. 概述 KL散度存在不对称性，为解决这个问题，在KL散度基础上引入了JS散度。 \[J S\left(P_{1} \| P_{2}\right)=\frac{1}{2} K L\left(P_{1} \| \frac{P_{1}+P_{2}}{2}\right)+\frac{1}{2} K L\left(P_{2} \| \frac{P_{1}+P_{2}}{2}\right) \]JS散度的值域范围是[0,1]，相同则是0，相反[原创]关于散度（divergence）和旋度（Curl）的公式推导
参考3Blue1Brown这个博主的视频 Divergence and curl: The language of Maxwell's equations, fluid flow, and more https://www.youtube.com/watch?v=rB83DpBJQsE 对应于B站上是 散度与旋度：麦克斯韦方程组、流体等所用到的语言 https://www.bilibili.com/vid