金融风控数据挖掘-Task4
作者：互联网
文章目录
本学习笔记为阿里云天池龙珠计划Docker训练营的学习内容，学习链接为：https://tianchi.aliyun.com/specials/activity/promotion/aicampdocker
一、学习知识点概要：
主要描述金融风控领域常用的机器学习模型以及调参的算法原理，具体的代码参考金融风控训练营
二、学习内容：
1、逻辑回归
- 优点
①训练速度较快，分类的时候，计算量仅仅只和特征的数目相关；
②简单易理解，模型的可解释性非常好，从特征的权重可以看到不同的特征对最后结果的影响；
③适合二分类问题，不需要缩放输入特征；
④内存资源占用小，只需要存储各个维度的特征值； - 缺点
①逻辑回归需要预先处理缺失值和异常值；
②不能用Logistic回归去解决非线性问题，因为Logistic的决策面是线性的；
③对多重共线性数据过于敏感，且很难处理数据不平衡的问题；
④准确率并非很高，因为形式非常简单，很难去拟合数据的真实分布；
2、决策树模型
- 优点
①简单直观，生成的决策树可以可视化展示
②数据不需要预处理，不需要归一化，不需要处理缺失数据
③既可以处理离散值，也可以处理连续值
缺点
④决策树算法非常容易过拟合，导致泛化能力不强（可进行适当的剪枝）
⑤采用的是贪心算法，容易得到局部最优解
2、集成模型集成方法
通过组合多个学习器来完成学习任务，通过集成方法，可以将多个弱学习器组合成一个强分类器，因此集成学习的泛化能力一般比单一分类器要好。
集成方法主要包括Bagging和Boosting，Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，形成一个更加强大的分类。两种方法都是把若干个分类器整合为一个分类器的方法，只是整合的方式不一样，最终得到不一样的效果。常见的基于Baggin思想的集成模型有：随机森林、基于Boosting思想的集成模型有：Adaboost、GBDT、XgBoost、LightGBM等。
Baggin和Boosting的区别总结如下：
①样本选择上： Bagging方法的训练集是从原始集中有放回的选取，所以从原始集中选出的各轮训练集之间是独立的；而Boosting方法需要每一轮的训练集不变，只是训练集中每个样本在分类器中的权重发生变化。而权值是根据上一轮的分类结果进行调整
②样例权重上： Bagging方法使用均匀取样，所以每个样本的权重相等；而Boosting方法根据错误率不断调整样本的权值，错误率越大则权重越大
③预测函数上： Bagging方法中所有预测函数的权重相等；而Boosting方法中每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重
④并行计算上： Bagging方法中各个预测函数可以并行生成；而Boosting方法各个预测函数只能顺序生成，因为后一个模型参数需要前一轮模型的结果。
3、模型评估方法
对于模型来说，其在训练集上面的误差我们称之为训练误差或者经验误差，而在测试集上的误差称之为测试误差。
因此我们通常将已有的数据集划分为训练集和测试集两部分，其中训练集用来训练模型，而测试集则是用来评估模型对于新样本的判别能力。
- 数据集划分要求：
①训练集和测试集的分布要与样本真实分布一致，即训练集和测试集都要保证是从样本真实分布中独立同分布采样而得；
②训练集和测试集要互斥 - 数据集的划分方法
①留出法（适用于数据量充足时）：
将数据集D划分为两个互斥的集合，其中一个集合作为训练集S，另一个作为测试集T。为了保证划分数据分布的一致性，通常我们采用分层采样的方式来对数据进行采样。（通常会将数据集D中大约2/3~4/5的样本作为训练集，其余的作为测试集。）
②交叉验证法：（适用于数据量充足时，数据集小且可有效划分的时候最好使用留一法）
k折交叉验证通常将数据集D分为k份，其中k-1份作为训练集，剩余的一份作为测试集，这样就可以获得k组训练/测试集，可以进行k次训练与测试，最终返回的是k个测试结果的均值。交叉验证中数据集的划分依然是依据分层采样的方式来进行。（其k值的选取往往决定了评估结果的稳定性和保真性，通常k值选取10。当k=1的时候，我们称之为留一法）
③自助法：
从数据集D中取一个样本作为训练集中的元素，然后把该样本放回，重复该行为m次，这样我们就可以得到大小为m的训练集，在这里面有的样本重复出现，有的样本则没有出现过，我们把那些没有出现过的样本作为测试集。进行这样采样的原因是因为在D中约有36.8%的数据没有在训练集中出现过。留出法与交叉验证法都是使用分层采样的方式进行数据采样与划分，而自助法则是使用有放回重复采样的方式进行数据采样
4、模型调参
- 贪心调参
贪心调参方法是指，在对问题求解时，总是做出在当前看来是最好的选择。也就是说，不从整体最优上加以考虑，它所做出的仅仅是在某种意义上的局部最优解。选择的贪心策略必须具备无后效性。
先使用当前对模型影响最大的参数进行调优，达到当前参数下的模型最优化，再使用对模型影响次之的参数进行调优，如此下去，直到所有的参数调整完毕。 - 网格搜索
sklearn 提供GridSearchCV用于进行网格搜索，只需要把模型的参数输进去，就能给出最优化的结果和参数。相比起贪心调参，网格搜索的结果会更优，但是网格搜索只适合于小数据集，一旦数据的量级上去了，很难得出结果。 - 贝叶斯调参
贝叶斯调参的主要思想是：给定优化的目标函数(广义的函数，只需指定输入和输出即可，无需知道内部结构以及数学性质)，通过不断地添加样本点来更新目标函数的后验分布(高斯过程,直到后验分布基本贴合于真实分布）。简单的说，就是考虑了上一次参数的信息，从而更好的调整当前的参数。
贝叶斯调参的步骤为：
①定义优化函数(rf_cv）
②建立模型
③定义待优化的参数
④得到优化结果，并返回要优化的分数指标
三、学习思考与总结：
在模型调参这模块中，比较困难的还在于耐心与细心，从一开始的AUC：0.725到调参后的0.731，中间可能需要调节十几个参数使之达到最优值。这一部分可能更需要我们耐心地去发现和大胆地尝试。
标签：Task4,训练,调参,模型,样本,风控,分类器,测试,数据挖掘 来源： https://blog.csdn.net/weixin_45968804/article/details/116328989