NLP学习笔记-逻辑回归
作者：互联网
逻辑回归（Logistic Regression）仍然属于线性分类，是一种分类算法，用于解决二分类问题，估计某种事物的可能性，比如判定一封邮件是否为垃圾邮件；判定用户点击某广告的可能性；判定病人患某种疾病的可能性。由于是线性模型，预测时计算简单、预测速度非常快，当数据规模巨大时，相比SVM神经网络等非线性的模型具有特别的优势。
逻辑函数（Logistics function）
上部分说到逻辑回归用于预测某件事的几率，其值必须在区间[0,1]内。样本标签值为0或1 代表负样本和正样本，那么特征向量x属于正样本记为p（y=1|x）。x的取值范围为（-∞，+∞）需要映射到区间[0,1]。
这时我们就要介绍Sigmoid函数，也称为逻辑函数（Logistic function）
其函数曲线为：
从上图可以看到sigmoid函数是一个s形的曲线，它的取值在[0, 1]之间，当x为0时，sigmoid函数值为0.5。随着x的增大，对应的sigmoid函数的值将逼近于1；而随着x的减小，sigmoid函数的值将逼近于0。
然而函数是无法输入向量的，那么为了实现回归分类器，我们可以给每个特征向量乘一个回归系数然后再累加后送入sigmoid函数，这样就将样本的特征向量映射到了一个概率值p(y =1|x)的函数。
边界决策（Decision Boundary）
边界决策即在N维平面内，用一个面将不同类别区分开。引用Andrew Ng 课程上的两张图来解释这个问题：
线性决策边界
非线性决策边界
上面两张图清晰的解释了什么是决策边界，即区分类别的一个方程，那么在逻辑回归中，决策边界就是由公式分母中e的系数决定的。
代价函数（Cost function）
代价函数C（θ）用于衡量模型的预测值h和真实值y之间的差异，如果有多个样本，那么将所有代价函数J（θ）的取值求均值。那么确定了模型后，就要训练模型的参数θ，在训练过程中，使代价函数J最小的θ即为最优的参数。当J（θ）=0表示模型完美的拟合了观察的数据，没有任何误差。
过拟合（Overfitting）
然而模型完美拟合了训练数据并不是一件好事，过拟合是机器学习里的一个重要的问题。过拟合就是模型训练时误差很小，但在测试时误差很大，也就是模型复杂到可以拟合到我们的所有训练样本了，但在实际预测新的样本的时候，糟糕的一塌糊涂。通俗的讲就是应试能力很强，实际应用能力很差。
再次借用Ng的course中的图，上面两张图分别为线性回归和逻辑回归，从左到右分别为欠拟合、合适的拟合和过拟合三种情况。
参考
https://blog.csdn.net/JENREY/article/details/83022782
https://zhuanlan.zhihu.com/p/28408516
https://www.csdn.net/tags/NtzaEg3sMzk1ODgtYmxvZwO0O0OO0O0O.html
https://blog.csdn.net/u010899985/article/details/79471909
https://cloud.tencent.com/developer/article/1339818
https://blog.csdn.net/tian_tian_hero/article/details/89409472
https://blog.csdn.net/xq151750111/article/details/121341143
标签：NLP,逻辑,函数,sigmoid,模型,笔记,https,拟合,net 来源： https://www.cnblogs.com/wisdom-jie/p/16253081.html