首页 > TAG信息列表 > LGB

XGB

Xgb的特点是什么? xgb是GBAT的一个工程实现,传统的GBDT是基于CART 作为基分类器,在优化时仅仅用到了一阶信息。 xgb 可以支持线性分类器,增加了 L1 正则项和 L2正则项, xgb对loss函数进行了二阶泰勒展开,使得优化更快更准。 lgb 也是一种GBDT的工程实现,微软提出的xgb调整版本,由于一些并

【算法竞赛学习】金融风控之贷款违约预测-建模与调参

Task4 建模与调参 此部分为零基础入门金融风控的 Task4 建模调参部分,带你来了解各种模型以及模型的评价和调参策略,欢迎大家后续多多交流。 赛题:零基础入门数据挖掘 - 零基础入门金融风控之贷款违约预测 项目地址:https://github.com/datawhalechina/team-learning-data-mining

增量学习/训练

针对大型数据集,数据过大无法加载到内存,使用增量训练方式 目录 sklearn https://scikit-learn.org/stable/auto_examples/applications/plot_out_of_core_classification.html#sphx-glr-auto-examples-applications-plot-out-of-core-classification-py lightgbm 自定义生成器 pred

lgb文档学习

       1.L1和l2损失是什么意思?            相较于MSE,MAE有个优点,那就是MAE对离群值不那么敏感,可以更好地拟合线性,因为MAE计算的是误差y−f(x)的绝对值,对于任意大小的差值,其惩罚都是固定的。 2.参数: 核心参数: 1.objective:            回归应用:用法都是:objectiv

模型训练lgb

1. model pipeline拆解 # -*- coding: utf-8 -*- import pandas as pd import lightgbm as lgb from sklearn import metrics from woe.eval import eval_segment_metrics # 一般这样,不需改动 params = { 'boosting_type': 'gbdt', 'objective'

Python学习笔记:sklearn.externals.joblib导入报错cannot import name 'joblib'

之前跑完模型保存都是通过以下脚本保存。 # 保存模型 from sklearn.externals import joblib joblib.dump(model_lgb, r"E:\model.pkl") # 导出 # model_lgb = joblib.load(r"E:\model.pkl") # 导入 最近升级 sklearn 0.24 包之后发现这种保存方式会报错。 scikit-learn

天池案例-二手车交易价格预测-回归(xgb+lgb)

1 案例描述 赛题以预测二手车的交易价格为任务,评测标准:评价标准为MAE(Mean Absolute Error)。 2 代码详情 # 基础工具 import numpy as np import pandas as pd import warnings import matplotlib import matplotlib.pyplot as plt import seaborn as sns from scipy.special i

20210325_23期_心跳检测_Task04_模型调参

四、模型调参 目录 四、模型调参来源 1 模型及调参1.1 各类模型及介绍1.1.1 逻辑回归模型((Logistic regression,LR))1.1.2 决策树模型(decision tree)1.1.3 集成模型集成方法(ensemble method) 1.2 模型评估 2 Task4代码参考资料 来源 Datewhle23期__数据挖掘心跳检测 :

赛中对LGB模型进行调参的详细过程记录

这是个人在竞赛中对LGB模型进行调参的详细过程记录,主要包含下面六个步骤: 大学习率,确定估计器参数n_estimators/num_iterations/num_round/num_boost_round; 确定num_leaves和max_depth 确定min_data_in_leaf 确定bagging_fraction+bagging_freq和feature_fraction 确定L1L2正则reg

半年来的学习总结(零零散散的数据、机器学习)

既然今天闲来无事,索性就来写写半年来的学习总结吧,顺便也写写所遇到的一些悲惨经历,真的是一把型辛酸泪。 一、初入新学校 从2018年10月确定推免资格,选了老板,定了方向之后,感觉到了人生另一个低谷。也只能怪自己,方向每选好。在这里奉劝一下各位,方向以及老板的RP非常重要,不要过

半年来的学习总结(零零散散的数据、机器学习)

既然今天闲来无事,索性就来写写半年来的学习总结吧,顺便也写写所遇到的一些悲惨经历,真的是一把型辛酸泪。 一、初入新学校  从2018年10月确定推免资格,选了老板,定了方向之后,感觉到了人生另一个低谷。也只能怪自己,方向每选好。在这里奉劝一下各位,方向以及老板的RP非常重要,不要过去看

数据分析常用代码(持续更新)

模型 Xgboost import xgboost as xgb def xgb_model(X_t, X_v, y_t, y_v, test): print("XGB model start") xgb_val = xgb.DMatrix(X_v, label=y_v) xgb_train = xgb.DMatrix(X_t, label=y_t) xgb_test = xgb.DMatrix(test) params

LGB+XGB+CNN一般写法

现在的比赛,想要拿到一个好的名次,就一定要进行模型融合,这里总结一下三种基础的模型: - lightgbm:由于现在的比赛数据越来越大,想要获得一个比较高的预测精度,同时又要减少内存占用以及提升训练速度,lightgbm是一个非常不错的选择,其可达到与xgboost相似的预测效果。 - xgboost:在lightgbm出

LightGBM建模

LightGBM 1.读取csv数据并指定参数建模 # coding: utf-8 import json import lightgbm as lgb import pandas as pd from sklearn.metrics import mean_squared_error # 加载数据 print('Load data...') df_train = pd.read_csv('./data/regression.train.txt', header=

LightGBM综述

根据以往的经验梯度提升树(gradient boosted tree)可谓横扫Kaggle,不使用GBT感觉都没法再Kaggle混了。决策树相对深度学习来说可谓优点多多:好理解,易解释,对非平衡数据友好,训练起来快等等。在本文中我们主要来了解下LightGBM这个框架并用Kaggle的实战数据来操练下。数据集在这:credit