转自：https://towardsdatascience.com/avoid-data-leakage-split-your-data-before-processing-a7f172632b00

https://towardsdatascience.com/data-splitting-for-model-evaluation-d9545cd04a99

1.数据泄露

数据泄漏是指训练数据集和测试数据集之间偶然的信息共享。 这种信息共享将给模型一个关于测试数据集的“提示”，并生成看起来最优的评估分数。 然而，由于模型对测试数据拟合过度，无法准确预测未来未见数据集。

一个比较常见的数据泄露的原因：在数据预处理后才进行训练-测试集的划分。

2.例子

给出由于在数据预处理后才进行训练-测试集的划分，导致数据泄露给测试集的问题。

针对上述训练集，由列1和列2预测target， 如果先对列进行预处理：

列1中Y的值是通过其中有多少个为1的target来替换，即4/6=0.67；列2是按字母顺序编码。

将前7个样本作为训练集，后3个作为测试集，但是从测试集中来看，它能够期望，2个Y，并且其中有一个target为1，这将导致对模型性能的期望过于乐观。  

类似地，对于步骤2，第5行的字母' e '被编码为5，因为它理解完整数据集有' a '， ' b '， ' c '和' d '。 这种信息也会在训练和测试数据之间泄露。 

2.1解决办法

在预处理之前将数据集划分，这样test集以及未见过的数据都会一视同仁地被处理。

先划分：

 

 再预处理：

 

 这样做的好处是：

• 降低数据泄露风险
• 未来看不见的数据将以与测试数据完全相同的方式处理，从而确保模型性能的一致性。  

3.随机划分数据集存在的问题

3.1 不平衡数据集

如果我们随机分割一个包含99%负类和1%正类的数据集，会出现什么问题?  

可以通过scikit-learn’s train_test_split()进行分层采样。

3.2 小数据集（有限的数据集）

使用k折交叉验证。

 

 3.3 特征工程泄露

也就是上述提到的例子。

3.4 组泄露Group Leakage

主要是针对train和test中有同个人的样本overlap的情况。

3.5 时序泄露

 

 比如在预测出售的房价时，如果针对数据集随即划分，那么就忽略了时间的因素，可能会导致模型表现比期望更好。

标签：训练,集时,泄露,测试数据,划分,测试,数据,预处理
来源： https://www.cnblogs.com/BlueBlueSea/p/15520765.html