训练集、验证集、测试集的作用

目录

• • 1. 前言
  • 2. 训练集、验证集、测试集的作用
  • 3. 一些杂碎的东西
  • • ① 过拟合
    • ② 验证集和测试集的区别
    • ③ 三者划分比例
    • ④ 训练样本与 验证样本、测试样本分布不匹配的问题
    • ⑤ 关于测试集
  • 4.参考来源

1. 前言

本篇是看完吴恩达老师DL的课，写来当笔记看的，若有错误与疑虑，请指正或提出。

2. 训练集、验证集、测试集的作用

训练集（Training set）的作用：更新模型参数。

验证集（开发集）(Dev set) 的作用：评估训练得到的多种不同模型或者是带着不同参数的同一模型的效果，再根据模型在验证集的效果对模型进行选择和调参（因此可以说验证集也参与了训练），使得模型效果在验证集达到最优，最后选出效果最好的模型。

测试集(Test set) 的作用：对最终筛选出来模型的泛化能力进行评价。测试集最重要的是未知，即用一个学习集之外的数据集来对模型的效果进行评估，看看模型能否给出合适的输出；就像是用一张你平时刷题没刷到过的题组成的卷子，来检验你对知识的掌握情况，这样才合理嘛。

另外，我想提一下这个： 对于测试集的作用，Ng原话是：对最终选定模型的性能进行无偏估计。我刚看课程时是云里雾里的，后面发现对于测试集作用，两句话其实是一个意思

标签：对模型,训练,验证,模型,样本,测试,拟合
来源： https://blog.csdn.net/coolyuan/article/details/122628830