文章目录

• VC Bound Rephrase: Penalty for Model Complexity
• THE VC Message
• VC Bound Rephrase: Sample Complexity
• Looseness of VC Bound
• Fun Time

VC Bound Rephrase: Penalty for Model Complexity

VC Bound：

改述：好事情发生（GOOD）

gen.error：generalization error
得到EoutE_{out}Eout​的范围。

根号这一项被叫做model complexity。

THE VC Message

横轴是VC dimension，纵轴是Error。
model complexity随着VC dimension的变大而变大。
VC dimension增大后，可以shatter的点变多（hypothesis变强），EinE_{in}Ein​减小。
VC dimension增大后，模型复杂度（model complexity）增大，导致要付出的代价变大。
所以EoutE_{out}Eout​通常会先减后增。

强大的H\mathcal{H}H（EinE_{in}Ein​很小）并不总是好的。

VC Bound Rephrase: Sample Complexity

VC Bound：

一个例子：

然而实践上一般10dVC10d_{VC}10dVC​的资料就够用了。

Looseness of VC Bound

上面的例子说明了VC Bound实际上是很宽松的。

原因：

对于不同的模型，VC Bound 的宽松程度实际上是差不多的。

Fun Time

标签：VC,Bound,complexity,Rephrase,Interpreting,7.4,model,dimension
来源： https://blog.csdn.net/Exupery_/article/details/77117394