其他分享
首页 > 其他分享> > [斯坦福大学2014机器学习教程笔记]第六章-分类回归

[斯坦福大学2014机器学习教程笔记]第六章-分类回归

作者:互联网

    在这节以及接下来几节中,我们要开始讨论分类问题。这节将告诉我们为什么对于分类问题来说,使用线性回归并不是一个好主意。

    在分类问题中,你要预测的变量y是一个离散的值,我们将学习一种叫做逻辑回归(Logistic Regression)的算法,这是当今最流行、使用最广泛的学习算法之一。

    分类问题的例子有:垃圾邮件分类(判断一封电子邮件是否是垃圾邮件)、分类网上交易(判断某一个交易是否是欺诈,例如是否用盗取的信用卡等等)、肿瘤分类(判断一个肿瘤是恶性的还是良性的)。在这些问题中,我们尝试预测的变量y是可以有两个取值的变量(0或1)。我们用0表示的那一类还可以叫做负类(Negative Class),用1表示的那一类可以叫做正类(Positive Class)。一般来说,负类表示没有某样东西,比如说:没有恶性肿瘤。正类表示具有我们要寻找的东西。但是,什么是正类什么是负类是没有明确规定的。

    现在我们要开始讨论只包含0和1两类的分类问题(即二元的分类问题)。那么,我们要如何开发一个分类算法呢?

    这个例子的训练集是对肿瘤进行恶性或良性分类。注意到恶性与否只有两个值,0或者1。所以,我们可以做的就是对于这个给定的训练集,把我们学过的线性回归算法应用到这个数据集,用直线对数据进行拟合。如果你用直线去拟合这个训练集,你有可能得到如下图的假设直线。

    如果你想做出预测,你可以将分类器输出的阀值设为0.5(即纵坐标值为0.5),如果假设输出一个大于等于0.5,可以预测y=1,如果小于0.5则预测y=0。在这个特定的例子中,似乎线性回归做的事情很合理。但是,尝试改变一下问题,将横轴延长一点。假如我们有另外一个训练样本位于右边远处。

    注意这个额外的训练样本,显然它并不会改变什么,假设依然很好。但是,当我们再增加一个额外的例子,如果我们这时运行线性回归,我们会得到另一条直线(如下图)去拟合数据。此时,如果将阀值设为0.5,根据分析,这显然不是一个好的线性回归。

    所以,将线性回归运用到分类问题中通常不是一个好主意。在增加额外的样本之前,之前的线性回归看起来很好。但是,对数据集进行线性回归,有时会很好,但这不意味着这就是一个很好的方法。因为我们可能会遇到像增加了一个额外样本之后的问题,这时,效果就比较糟糕了。尽管我们知道标签y应该取值0或者1,但是如果算法得到的值远大于1或者远小于0的话,还是会感觉很奇怪。

    所以我们在接下来的要研究的算法就叫做逻辑回归算法,这个算法的特点是:它的输出值永远在0到1之间。顺便说一下,我们通常将逻辑回归算法视为一种分类算法。有时候可能因为这个算法的名字中出现了“回归”让人会感到困惑,但逻辑回归算法实际上是一种分类算法,它适用于标签y为离散值0或1的情况。

标签:教程,斯坦福大学,回归,分类,0.5,算法,线性,2014,我们
来源: https://www.cnblogs.com/shirleyya/p/12701042.html