1、训练、开发、测试集划分

开发（dev）集也叫做 （development set），有时称为保留交叉验证集（hold out cross validation set）

大数据时代，7/3分和6/2/2分所有数据集已经不合适了。

我们可以让训练集占比例

更多，开发和测试集占比例更少

2、当开发集和测试集和训练集内容相差很大

不是同一分布，而且开发集和测试集很少但是确实是我们想要得到的目标相关，而训练集很多的时候，可以将庞大的训练集单独设置成训练集，开发集和测试集就用我们目标想要的小数据集，没必要把他们混合成一个大集合，这样也可以直接把开发集和测试集设置成我们想要的目标，就方便我们训练调试到想要的结果。

3、当训练集误差低而测试集误差高的时候（错误分析）

可能是过拟合（高方差问题），也可能是算法本身就不适合测试集。为此我们需要进行判断：将一部分训练集结合测试集变成训练-开发集，这部分不训练，单纯用来验证，如果这部分的误差很高，那么就是过拟合了（高方差问题），因为训练-开发集可以跟训练集视为同一分布。

如果训练-开发集和训练集误差都很低，只有开发集或者测试集误差高，那就是单纯的数据不匹配问题。

4、定位数据不匹配怎么办

可以人工数据合成

5、迁移学习

迁移学习定义：将某个领域或任务上学习到的知识或模式应用到不同但相关的领域或问题中。

意思就是我们可以用已经训练好的处理A任务的神经网络，进行调整来处理B任务

应用场合要求：①迁移来源（A任务）有很多数据，但是迁移目标（B任务）没有那么多数据可以训练。

②A和B输入相同

③A任务的低层次特征对B任务也有用

如果我们把A任务的神经网络处理B任务时，把所有参数都进行修改，那么训练A的过程叫做“预处理”，处理B的训练过程叫做“微调”。当然我们也可以只替换输出层。

6、低层次特征和高层次特征

低层次特征：低层次特征往往是泛化的、易于表达的，如纹理、颜色、边缘、棱角等等。

高层次特征往往是复杂的、难以说明的，比如金色的头发、瓢虫的翅膀、缤纷的花儿等等。

7、多任务学习

在迁移学习中，你的步骤是串行的，你从任务

标签：吴恩达,测试,训练,学习,任务,三节课,深度,数据,端到
来源： https://blog.csdn.net/jiangqixing0728/article/details/123064769