其他分享
首页 > 其他分享> > 特征工程(学习笔记总结)

特征工程(学习笔记总结)

作者:互联网

目录

1、需要哪些数据?

2、数据如何存储?

3、数据清洗(数据预处理)

3.1 文本数据转换为数值型数据 

3.2 缺省值填充 

3.3 哑编码(onehotencoder要求数据类型是数值) 

​ 3.4 二值化

3.5 标准化 

​ 3.6 多项式拓展​​

​ 4、特征选择​

​ 4.1 filter

4.1.1 方差选择法​

4.1.2 相关系数法

​ 4.1.3 卡方检验(要求特征属性非负)--只能用最大最小缩放(0,1)​

4.2 wrapper

  4.2.1递归特征消除法

​  4.3 embeded

4.3.1 基于惩罚项的特征选择

5、降维

5.1 PCA 

5.2 LDA(线性判别)


 

1、需要哪些数据?

1)业务分析:基于对业务规则的理解,尽可能多的找出对因变量影响较大的自变量数据

2)数据可用性评估:数据获取之前,先考虑获取成本;获取到数据之后,使用数据之前,考虑下这个数据是否覆盖了所有情况及数据的可信度。

2、数据如何存储?

3、数据清洗(数据预处理)

样本不均衡:给样本赋予权重   (参数: class_weight 分类)

采样

3.1 文本数据转换为数值型数据 

 

 

 

 

3.2 缺省值填充 

 

3.3 哑编码(onehotencoder要求数据类型是数值) 

 3.4 二值化

1、一般情况下,对每个特征使用不同的阈值进行二值化操作,所以一般我们会拆分几个DataFrame进行二值化操作后,再进行合并。

2、一般情况下,我们对数据进行划分时,不是进行二值化,而是进行多值化(分区化/分桶化):即将一个连续的数据,按照不同的取值范围,分为不同的级别。比如:在一个模型中,根据人的收入判断工作年限,可能会得到因变量的因素其实是区间划分后的收入情况。那么这时候可以基于业务特征,将收入划分为收入等级,比如:1w: 0; 1w-2w: 1; 2w-3w: 2; 3w+ :3(不要对数据做哑码,因为这里的0 1 2 3有不同的等级)

3.5 标准化 

标准化的目的:降低不同特征的不同范围的取值对于模型训练的影响

 3.6 多项式拓展

 4、特征选择

 4.1 filter

4.1.1 方差选择法

4.1.2 相关系数法

 4.1.3 卡方检验(要求特征属性非负)--只能用最大最小缩放(0,1)

4.2 wrapper

  4.2.1递归特征消除法

1)极模型;2)选择几个特征;3)每一次删除几个特征

  4.3 embeded

4.3.1 基于惩罚项的特征选择

4.3.2 基于树模型的特征选择 

5、降维

5.1 PCA 

 

数据0中心化后, (X * X转置) /n 等于协方差矩阵。

矩阵分解 (特征值/奇异值分解+SVD+解齐次/非齐次线性方程组)

5.2 LDA(线性判别)

 

 

使用sklearn做单机特征工程

标签:总结,4.1,4.3,特征选择,笔记,学习,特征,数据,二值化
来源: https://blog.csdn.net/weixin_46402349/article/details/117962924