softmax回归

虽然softmax的名字是回归，但是其实它是一个分类问题。

回归VS分类

• 回归估计一个连续值
• 分类预测一个离散类别

eg:

MNIST：手写数字识别（10类）

ImageNet：自然物体分类（1000类） 

Kaggle上的分类问题：将人类的蛋白质显微镜图片分成28类、将恶意软件分成9个类别、将恶意的Wikipedia评论分成7类。

从回归到多类分类

回归

• 单连续数值输出
• 自然区间R
• 跟真实值的区别作为损失

分类

• 通常多个输出
• 输出i是预测为第i类的置信度

从回归到多类分类-均方误差

对类别进行一位有效编码

使用均方损失训练。

最大值最为预测

  从回归到多类分类-无校验比例

对类别进行一位有效编码

最大值最为预测

需要更置信的识别正确类（大余量）

 从回归到多类分类-校验比例

输出匹配概率（非负，和为1）

概率y和^y的区别作为损失。

 softmax和交叉熵损失

 交叉熵常用来衡量两个概率的区别

将它作为损失

其梯度是真实概率和预测概率的区别

 总结

•  softmax回归是一个多类分类模型
• 使用softmax操作子得到每个类的预测置信度
• 使用交叉熵来衡量预测和标号的区别

损失函数

L2 Loss

L1 Loss

 

Huber's Robust Loss

 

标签：分类,预测,AI,回归,李沐学,损失,softmax,多类
来源： https://blog.csdn.net/qq_42505741/article/details/120138468