深度学习之TensorFlow(三)
作者:互联网
回归算法
- 线性回归
- 线性回归假定输入变量(X)和单个输出变量(Y)之间呈线性关系。它旨在找到预测值 Y 的线性方程:
Yhat=WTX+b - 其中。X={x1,x2,…xn}是n个输入变量,W={w1,w2,…wn}为线性系数,b是偏置项。
- 我们的目标是找到系数W的最佳估计,使得Y预测值误差最小。
- 使用最小二乘法估计线性系数W,求预测值和观测值组件的平方和最小。
- 损失函数loss:预测值y与已知y_的差距
loss=i=1∑pYi−Yhat - 实现函数:loss = tf.reduce_mean(tf.square(y-y_))
- 逻辑回归
- 用来确定一个事件的概率。通常来说,事件可被表示为类别因变量。事件的概率用 logit 函数(Sigmoid 函数)表示:
P(Yhat=1∣X=x)=1+e−(b+WT+X)1 - 现在估计权重W={w1,w2,…wn}和偏置项b.使用最大似然估计量或随机梯度下降估计系数。
- 损失函数:loss=∑i=1PYilog(Yhati)+(1−Yi)log(1−Yhati)
- 逻辑回归用分类问题,对于多类型逻辑回归,交叉熵损失函数定义为:
loss=i=1∑Pj=1∑KYijlog(Yhatij)
- 正则化
- 大量特征输入,需要正则化保证模型的简约。正则化帮助防止数据过拟合,也可以用来获得一个凸损失函数,有两种类型正则化。
- 数据高度共线,L1正则化工作,与所有系数的绝对值
和相关的附加惩罚被添加到损失函数,
L1_penalty=λi=1∑n∣Wi∣ - L2正则化提供了另一种解决方法,输入特征巨大时,适用。
- 惩罚项是所有系数平方之和。
- L2_penalty=λi=1∑n∣Wi2∣
- λ是正则化参数。
标签:loss,log,penalty,sum,学习,正则,深度,TensorFlow,hat 来源: https://blog.csdn.net/qq_45416295/article/details/104578989