逻辑斯蒂回归分类算法

首先来看一个线性回归来进行分类的问题： 怎样判断肿瘤是否恶性？

很明显线性回归用于分类问题无法处理边界点的位置。

同时，线性回归健壮性不够，一旦有噪声，立刻“投降”

使用逻辑斯蒂回归 —— 分类问题

Sigmoid函数（压缩函数）

sigmoid函数中，e-z 中 z 的正负决定了 g(z) 的值最后是大于 0.5 还是小于 0.5；即 z 大于 0 时，g(z) 大于 0.5，z 小于 0 时，g(z)小于 0.5

当 z 对应的表达式为分类边界时，恰好有分类边界两侧对应 z 正负不同，也就使得分类边界两边分别对应 g(z)>0.5 和 g(z)<0.5，因此根据 g(z) 与 0.5 的大小关系，就可以实现分类

来看两个示例：

我们将线性回归拟合出来的值用压缩函数进行压缩，压缩完成后用 0.5 做一个概率的判定边界，就能把样本分成两类，即正样本和负样本

逻辑斯谛回归损失函数

• 平方损失函数的问题
  

如果使用梯度下降法求解算法可能无法得到全局最优解，最小二乘法求解不适用于多元函数。

我们期待的损失函数为一个凸函数，可以使用梯度下降求解最优质值。

考虑到对数函数中可以根据零点将数据定义划分为正类和负类：

因此，在逻辑回归分类算法中，我们的损失函数定义如下：

因此，在逻辑回归分类算法中，我们的损失函数定义如下：

梯度下降法求解

标签：逻辑,函数,回归,分类,0.5,斯蒂,算法
来源： https://blog.csdn.net/weixin_42796403/article/details/113815647