Deeplearning深度学习笔记

机器学习策略（2）(ML Strategy (2))

一、进行误差分析（Carrying out error analysis）

 假设你正在调试猫分类器，然后你取得了 90%准确率，相当于 10%错误，，在你的开发 集上做到这样，这离你希望的目标还有很远。也许你的队员看了一下算法分类出错的例子， 注意到算法将一些狗分类为猫，你看看这两只狗，它们看起来是有点像猫，至少乍一看是。 所以也许你的队友给你一个建议，如何针对狗的图片优化算法。试想一下，你可以针对狗， 收集更多的狗图，或者设计一些只处理狗的算法功能之类的，为了让你的猫分类器在狗图上 做的更好，让算法不再将狗分类成猫。所以问题在于，你是不是应该去开始做一个项目专门 处理狗？这项目可能需要花费几个月的时间才能让算法在狗图片上犯更少的错误，这样做值 得吗？或者与其花几个月做这个项目，有可能最后发现这样一点用都没有。这里有个错误分 析流程，可以让你很快知道这个方向是否值得努力。

这是我建议你做的，首先，收集一下，比如说 100 个错误标记的开发集样本，然后手动 检查，一次只看一个，看看你的开发集里有多少错误标记的样本是狗。现在，假设事实上，你的 100 个错误标记样本中只有 5%是狗，就是说在 100 个错误标记的开发集样本中，有 5 个是狗。这意味着 100 个样本，在典型的 100 个出错样本中，即使你完全解决了狗的问题， 你也只能修正这 100 个错误中的 5 个。或者换句话说，如果只有 5%的错误是狗图片，那么 如果你在狗的问题上花了很多时间，那么你最多只能希望你的错误率从 10%下降到 9.5%， 对吧？错误率相对下降了 5%（总体下降了 0.5%，100 的错误样本，错误率为 10%，则样本 为 1000），那就是 10%下降到 9.5%。你就可以确定这样花时间不好，或者也许应该花时间， 但至少这个分析给出了一个上限。如果你继续处理狗的问题，能够改善算法性能的上限，对吧？

在机器学习中，有时我们称之为性能上限，就意味着，最好能到哪里，完全解决狗的问 题可以对你有多少帮助。 但现在，假设发生了另一件事，假设我们观察一下这 100 个错误标记的开发集样本，你 发现实际有 50 张图都是狗，所以有 50%都是狗的照片，现在花时间去解决狗的问题可能效 果就很好。这种情况下，如果你真的解决了狗的问题，那么你的错误率可能就从 10%下降到 5%了。然后你可能觉得让错误率减半的方向值得一试，可以集中精力减少错误标记的狗图 的问题。 我知道在机器学习中，有时候我们很鄙视手工操作，或者使用了太多人为数值。但如果 你要搭建应用系统，那这个简单的人工统计步骤，错误分析，可以节省大量时间，可以迅速 决定什么是最重要的，或者最有希望的方向。实际上，如果你观察 100 个错误标记的开发集 样本，也许只需要 5 到 10 分钟的时间，亲自看看这 100 个样本，并亲自统计一下有多少是 狗。根据结果，看看有没有占到 5%、50%或者其他东西。这个在 5 到 10 分钟之内就能给你 估计这个方向有多少价值，并且可以帮助你做出更好的决定，是不是把未来几个月的时间投 入到解决错误标记的狗图这个问题。

二、清除标注错误的数据（Cleaning up Incorrectly labeled data） 

你的监督学习问题的数据由输入

标签：错误,标记,标签,样本,笔记,算法,Deeplearning,深度,100
来源： https://blog.csdn.net/qq_56823035/article/details/120673384