首页 > TAG信息列表 > 预测值

反归一化

问题描述:归一化后使用模型进行预测,将预测的结果反归一化为初始的数据规模,预测值与真实值进行画图比较。 1、将特征和标注进行拆分,分别进行归一化 2、特征的归一化 1 from sklearn.preprocessing import MinMaxScaler # 导包 2 data.name = data.columns # 获取列名 3 f

什么是损失函数?

损失函数(Loss Function) 机器学习模型关于单个样本的预测值与真实值的差称为损失。损失越小,模型越好,如果预测值与真实值相等,就是没有损失。用于计算损失的函数称为损失函数。模型每一次预测的好坏用损失函数来度量。 损失函数特点 恒非负 误差越小函数值越小 收敛快 常见的损失函

SHAP值学习笔记

模型可解释之shap值 SHAP的名称来源于SHapley Additive exPlanation。Shapley value起源于合作博弈论。比如说甲乙丙丁四个工人一起打工,甲和乙完成了价值100元的工件,甲、乙、丙完成了价值120元的工件,乙、丙、丁完成了价值150元的工件,甲、丁完成了价值90元的工件,那么该如何公平、合

预测函数 简易平均法(适合事物变化不大的趋势预测)

简易平均法是一种时间序列法,Time Series Forecasting Method 把若干历史时期的统计数值作为观察值,将算术平均数作为下期预测值,基于假设:过去这样,今后也这样,把近期和远期的数据等同化和平均化 算术平均法 两种形式 以最后一年或者数年的每月平均值作为次年的每月预测值 为了确定合理

Datawhale学习打卡LeeML-Task03

Datawhale学习打卡LeeML-Task03 误差误差来源解释:类比解释数学证明 估计变量x的偏差和方差估计变量x的偏差估计变量x的方差 不同模型的偏差和方差考虑不同模型的偏差考虑不同模型的方差 过拟合和欠拟合怎么判断 偏差和方差的trade-off (平衡)——模型选择交叉验证N-折交叉验

XGBoost原理和调参

(原创) 本文讨论XGBoost的原理和调参   1.目标函数 xgboost需要优化的目标函数分为两部分, 一部分是样本的损失函数(下式红色部分),另一部分是对模型复杂程度的正则罚项(下式蓝色部分,下式的基模型为cart树):        2.梯度提升方法 第t次迭代的yi预测值可以由第t-1次的预测值,加上一个

数据分析进阶-Excel绘制分段折线图

前言 今天1024程序员节,虽然好像和我没有特别强的关系,写篇博客蹭个勋章吧~ Excel绘制分段折线图 1、如何凸显折线图中的重点片段 (1)首先将需要重点表示的数值提取出来放置新的一行数据中,如图所示,此处将2月、3月、6月与7月的数据独立出来 (2)选中3行数据插入折线图即可,后续仅需调

Yolo V1原理及应用

YOLO的CNN网络将输入的图片分割成网格,每个单元格负责去检测那些中心点落在该格子内的目标,如图所示,可以看到车这个目标的中心落在右下角一个单元格内,那么该单元格负责预测这个车。每个单元格会预测B个边界框(bounding box)以及边界框的置信度(confidence score) 所谓置信度其实包

[机器学习]偏差与方差?

什么是偏差和方差? 方差与偏差可以帮助我们观察我们的模型是欠拟合还是过拟合, 在这之前,我们先讨论讨论,什么是方差和偏差, 也许偏差更好理解,方差的概念更加难懂 在机器学习中: 偏差用于衡量预测值和真实值之间的误差 方差则用于衡量预测值之间的偏离程度,与真实值无关 回到机器学

java String

简介 字符串常量池 & 堆内存中你是不是傻傻分不清楚 intern 方法你是不是傻傻分不清楚 简单来说, 存在一个如果字符串常量值中已经有了对象, 就 code intern : 如果没有在字符串常量池中创建, 就会创建出一个 String a1 = "1"; String b1 = "1"; System.o

【AI学习总结】均方误差(Mean Square Error,MSE)与交叉熵(Cross Entropy,CE)损失函数

出发点 对于一个样本,有输入和输出结果,我们的目的是优化训练我们的模型,使得对于样本输入,模型的预测输出尽可能的接近真实输出结果。现在需要一个损失函数来评估预测输出与真实结果的差距。 均方误差 回归问题 样本有若干维,每一维都有一个真实值。我们要将样本的数据通过我们的模型

RNN课程三分之一

数学表示 作为输入。     作为中间传递值,     作为预测值        RNN计算公式:            RNN:       GRU:   LSTM:              

梯度提升决策树(GBDT)

1. 解释一下GBDT算法的过程   GBDT(Gradient Boosting Decision Tree),全名叫梯度提升决策树,使用的是Boosting的思想。 1.1 Boosting思想   Boosting方法训练基分类器时采用串行的方式,各个基分类器之间有依赖。它的基本思路是将基分类器层层叠加,每一层在训练的时候,对前一层基分

梯度提升决策树(GBDT)

1. 解释一下GBDT算法的过程   GBDT(Gradient Boosting Decision Tree),全名叫梯度提升决策树,使用的是Boosting的思想。 1.1 Boosting思想   Boosting方法训练基分类器时采用串行的方式,各个基分类器之间有依赖。它的基本思路是将基分类器层层叠加,每一层在训练的时候,对前一层基分

06线性回归算法原理推导

通过年龄,工资。预测贷款金额。 贷款金额: = k1 * 工资 + k2 * 工资  + k   k1 ,k2 权重对结果影响大, k 偏置项对结果影响小 化简整合:多少个特征,就有多少个权重参数    额外增加一列: 值为1 . 为了矩阵计算。 真实值和预测值之间存在差异。理论模型和现实模型必然存在差异。 每

损失函数

本篇我们来学习一下在机器学习中常用的损失函数 文中我们用 Y Y Y表示实际值, f (

机器学习算法

目录1. 线性回归算法1.1 线性回归简介1.2 误差项分析1.3 似然函数1.4 线性回归求解1.5常用评估方法2.逻辑回归2.1 Sigmoid函数 1. 线性回归算法 1.1 线性回归简介 一个例子: 去银行贷款,银行给我贷款多少 银行需要你两个数据: 工资和年龄(两个特征值) 目标: 预测银行会贷多少钱给我(标

时间序列预测的难点

目前有很多方法看似可以进行时间序列预测,实际上不靠谱。 如下图所示,红线代表预测值,蓝线代表真实值 乍眼一看,两条曲线挺重合的,是不是预测效果就很好呢? 其实很难说 实际上,上图展示的是单步预测,即给定当前时间点 yty_tyt​ 之前的一个时间窗口(yt,yt−1,…,yt−N)(y_t, y_{t-1

python机器学习-chapter2_4

•R2是一个回归模型的评价标准,也叫作决定系数,位于0~1之间,越接近1表示预测效果越好 训练集和数据集的分数非常接近,说明可能存在欠拟合 训练集的分数很好但测试集的分数不好,说明存在过拟合   •线性回归(普通最小二乘法 OLS): 寻找w和b,使得训练集的预测值与真实的回归目标值之间的均方

机器学习

机器学习的几种学习方法 统计学习:监督学习,无监督学习,半监督学习,强化学习。 这里引入统计学习和机器学习的区别: 1.统计学习是theory-driven,对数据分布进行假设,以强大的数学理论支撑解释因果,注重参数推断(Inference);机器学习是data-driven,依赖于大数据规模预测未来,弱化了收敛性

tensorflow.我的感念理解_ZC

1、卷积神经网络(CNN) 和 递归神经网络(RNN) 2、损失函数在反向传播中的作用 - 简书.html(https://www.jianshu.com/p/f987103ec046)  可以看出损失函数基本都是由真实值和预测值两部分组成,正确的损失函数,可以起到让预测值一直逼近真实值的效果,当预测值和真实值相等时,loss值最小。

#Week4 Logistic Regression

一、Classification 主要讨论二元分类。 线性回归处理分类问题显然不靠谱,所以采用逻辑回归。 二、Hypothesis Representation 假设函数变为\(h_\theta(x)=g(\theta^TX)\),使得分类器的输出在[0,1]之间。 \(g(z)=\frac{1}{1+e^{-z}}\),叫做sigmoid函数: 这个算出的值代表\(y\)是正向

GBDT

前向分布计算 负梯度拟合 不同的损失函数带表不同的优化目标,如指数损失、交叉熵、平方误差等,不同的损失函数代表了不同的优化目标。最常用的平方误差损失函数,其梯度即为残差。当换成其他损失函数时,残差不可用。 上式即为梯度提升算法,把负梯度作为残差近似值进行迭代,使

机器学习 之损失函数

目录 0、损失函数简介 0.1 对数损失函数 0.2 平方损失函数 0.3 指数损失函数??含义 0.4 合页损失函数 0.5 其他损失函数 1、KNN损失函数 2、朴素贝叶斯 3、决策树 4、逻辑回归 5、支持向量机 6、Adaboost提升算法 7、EM算法 8、隐式马尔科夫模型 9、条件随机场 12、线性回归 10

Python之算法评估-4

  一、评估算法的方式分两种,一种是分类算法的评估,一种是回归算法的评估。为什么要分两种呢,因为分类算法中可以通过准确率、精准率、召回率、混淆矩阵、AUC来评估算法的准确度。但是在预测值的时候是没有办法去获得这个准确值(比如分类对了,那就对了,错了就是错了,可以通过对错来统计