机器学习模型的误差分析-逼近误差、泛化误差、优化误差

逼近误差

模型最好能逼近真实模型到什么程度
考虑target function和能从假设空间中学到的the best function的距离
而已经证明一层隐藏层（+一层输出层）也能很好地拟合任何函数。XOR问题不能被单独一层网络解决。

泛化误差

泛化即推广能力。
考虑在假设空间中的best function和可以从数据集中学到的best function之间的距离。

优化误差

因为优化问题带来的误差。
即从能数据集中学到的best function和使用该算法从数据集中学到的best function之间的距离。

上图是一个很形象的示意图。实际目标函数是f*，而在函数集里能找到的最好的是f_D，而在数据集里能训练得到的最好的是f_s，而通过优化算法能找到的最好的是f_h。这其中分别就是逼近误差、泛化误差和优化误差。

参考资料

数学学院本科课程：统计计算与机器学习1

标签：function,误差,泛化,逼近,优化,best
来源： https://blog.csdn.net/qq_32623363/article/details/113272121