损失函数
作者：互联网
损失函数是机器学习中常用于优化模型的目标函数，无论是在分类问题，还是回归问题，都是通过损失函数最小化来求得我们的学习模型的。损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数是指预测结果和实际结果的差别，结构风险损失函数是指经验风险损失函数加上正则项。通常表示为：
θ*是我们通过损失函数最小化要求得的参数，一般都是通过梯度下降法来求得
1、0-1损失函数
0-1损失函数的表达式如下，常见于感知机模型中，预测正确则损失为0，预测错误则损失为1：
2、绝对值损失函数
平均绝对误差（MAE）是另一种常用的回归损失函数，它是目标值与预测值之差绝对值的和，表示了预测值的平均误差幅度，而不需要考虑误差的方向
提示：一般用于回归，这种不利于计算梯度下降，因为求导不方便
3、平方损失函数
均方误差（MSE）是回归损失函数中最常用的误差，它是预测值与目标值之间差值的平方和。平方损失函数常见于回归问题中，如线性回归，其表达式如下：
4、Huber损失函数
Huber Loss 是一个用于回归问题的带参损失函数, 优点是能增强平方误差损失函数(MSE, mean square error)对离群点的鲁棒性。
Huber损失相比于平方损失来说对于异常值不敏感，但它同样保持了可微的特性。它基于绝对误差但在误差很小的时候变成了平方误差。我们可以使用超参数δ来调节这一误差的阈值。当δ趋向于0时它就退化成了MAE，而当δ趋向于无穷时则退化为了MSE，其表达式如下，是一个连续可微的分段函数
δ 是 HuberLoss 的参数，y是真实值，f(x)是模型的预测值, 且由定义可知 Huber Loss 处处可导。GBDT比较常见
5、对数损失函数
对数损失函数最常见的应用就是在逻辑回归中，其表达式如下：
6、指数损失函数
指数损失函数常见于Adaboost算法中，其表达式如下：
7、Hinge损失函数
Hinge损失函数常见与SVM中，有点类似于0-1损失函数，不同的是对于分类错误的点，其损失值不再是固定值1，而是和样本点离超平面的距离有关。其表达式如下;
其中l 是hinge函数，其标准形式如下：
8、交叉熵损失函数（用于分类问题）
需要记住的是：参数越多，模型越复杂，而越复杂的模型越容易过拟合。此时可以考虑正则化，通过设置正则项前面的hyper parameter，来权衡损失函数和正则项，减小参数规模，达到模型简化的目的，从而使模型具有更好的泛化能力。
标签：误差,函数,Huber,回归,损失,表达式 来源： https://www.cnblogs.com/yifanrensheng/p/12359029.html