花树个人理解和疑问笔记——深度模型中的优化

学习和纯优化的不同

经验风险最小化

将机器学习问题转化为一个优化问题的最简单方法是最小化训练集上的期望损失？？？？
优化时不知道真实数据分布，只知道训练集中的样本分布。
自己理解：书中所说的”我们并不直接最优化风险，而是最优化经验风险，希望能够很大的降低风险“即我们在具体训练过程中没有办法得到真实数据，也就是测试集数据分布，不可能用测试集分布来进行最优化调参，只能采用训练集中的数据，利用这些数据来进行最优调参，这些数据也就是所谓的”经验“。所以这里称为经验风险最小化。
但是8.3的公式不知道为什么左边是期望右边直接就是累加
经验风险最小化中的两个问题

1. 容易导致过拟合
2. 很多损失函数没有有效的导数，无法基于梯度下降进行最优化

因此在深度学习中我们很少使用经验风险最小化。

代理损失函数和提前终止

？？？？

批量算法和小批量算法

进行梯度估计时汇报是小于线性的，，，是什么意思0
剩下的也没看懂 gg

深度网络优化中的挑战

病态

这个里面需要复习一个知识点：二阶泰勒级数

局部最小值

对于非凸函数，如神经网络，有可能存在多个局部最小值，但这不是主要问题
模型可辨识性？？？
多个局部最小值并非是非凸带来的问题，还有因为不可辨识问题产生的。

标签：花树,风险,经验,笔记,最小值,最小化,优化,最优化,疑问
来源： https://blog.csdn.net/qq_31510081/article/details/100068420