VC-Dimension and Rademacher Complexity-based bounds
作者:互联网
VC-Dimension和Rademacher complexity是机器学习中常提到的度量复杂的的概念,一直远观而没有亵玩,今天对这个概念进行学习记录。
VC-Dimension
全称为Vapnik-Chervonenkis dimension,从wiki上搞来一段定义
In Vapnik–Chervonenkis theory, the Vapnik–Chervonenkis (VC) dimension is a measure of the capacity (complexity, expressive power, richness, or flexibility) of a space of functions that can be learned by a statistical classification algorithm. It is defined as the cardinality of the largest set of points that the algorithm can shatter. It was originally defined by Vladimir Vapnik and Alexey Chervonenkis.[1]
即:在VC 理论中,VC维度是一种度量由统计分类算法得到的函数空间的容量(复杂度,表达能力,丰富性或灵活性)的方法。它被定义为算法可以破坏的最大点集的基数。
集合族的VC维
令为集合族,是一个集合。它们的交被定义为
我们说集合被shatter,如果包含的所有子集,即:
的VC维是被破坏的最大基数,如果任意大的子集能被破坏,那么VC维是。
分类模型的VC维
一个分类模型有着参数向量被称为shatter一个集合的数据点如果对这些数据点所有赋予的标签,都存在使得在评估这个集合的数据点的时候无错误。
模型的VC维是能被shatter的最大点数。
例子
例如一条直线在平面分类,那么最多二分类的点数为3,所以VC维为3.
Rademacher complexity
In computational learning theory (machine learning and theory of computation), Rademacher complexity, named after Hans Rademacher, measures richness of a class of real-valued functions with respect to a probability distribution.
在计算学习理论中(机器学习和计算理论),Rademacher comlexity由Hans Rademacher命名,度量一类基于概率分布实值函数的丰富性。
集合的Rademacher comlexity
给定集合,的Rademacher complexity定义如下:
其中是Rademacher分布得到的独立随机变量。
forand。
许多作者在取上界前取了和的绝对值,但是如果是对称的,那么这就没区别。
函数类的Rademacher comlexity
给定样本,类别定义在空间,的实验Rademacher
complexity对给定的定义为:
这也可以使用之前的定义来写:
其中表示函数复合,即:
令是的概率分布。函数类的Rademacher complexity基于且样本大小为为:
其中上述期望都是从中采样独立同分布的样本。
承接Matlab、Python和C++的编程,机器学习、计算机视觉的理论实现及辅导,本科和硕士的均可,咸鱼交易,专业回答请走知乎,详谈请联系QQ号757160542,非诚勿扰。
标签:VC,based,定义,bounds,complexity,集合,Chervonenkis,Rademacher 来源: https://blog.csdn.net/weixin_36670529/article/details/115249967