统计数据异常值的处理——统计学（八）

在数据分析工作中，面对收集而来的数据，数据清洗是首要环节。异常值（outlier）是数据清洗的重要环节，异常值可能直接会导致后面的数据分析、建模工作出现偏差，下面就给大家介绍一下如何处理数据中的异常值。

一、异常值判断

何为异常值？异常值，指的是样本中的一些数值明显偏离其余数值的样本点，所以也称为离群点。异常值分析就是要将这些离群点找出来，然后进行分析。
在不同的数据中，鉴别异常值有不同的标准，常规有以下几种：
（1）数字超过某个标准值
这是最常用的异常值判断方法之一。主要是看数据中的最大值或最小值，依据专业知识或个人经验，判断是否超过了理论范围值，数据中有没有明显不符合实际情况的错误。比如，测量成年男性身高（M），出现17.8m这样的数据，显然不符合实际情况。又或者，如问卷数据使用1-5级量表进行研究，出现-2，-3这类数据，则可能提示为跳转题、空选等。
（2）数据大于±3标准差
3σ 原则是在数据服从正态分布的时候用的比较多，在这种情况下，异常值被定义为一组测定值中与平均值的偏差超过3倍标准差的值。在数据处理的时候，按照正态分布的性质，三个标准差以外的数据都可以被看作是错误的数据从而排除掉。

二、异常值鉴别和处理

箱线图（Box plot）也称箱须图（Box-whisker Plot）、箱线图、盒图，可以用来反映一组或多组连续型定量数据分布的中心位置和散布范围，因形状如箱子而得名。1977年，美国著名数学家John W. Tukey首先在他的著作《Exploratory Data Analysis》中介绍了箱形图。箱线图也称箱须图、箱形图、盒图，用于反映一组或多组连续型定量数据分布的中心位置和散布范围。箱形图包含数学统计量，不仅能够分析不同类别数据各层次水平差异，还能揭示数据间离散程度、异常值、分布差异等等。

箱线图很适合鉴别异常值，具体的判断标准是计算出数据中的最小估计值和最大估计值。如果数据数据超过这一范围，说明该值可能为异常值。箱盒图会自动标出此范围，异常值则用圆圈表示。连续型数据：在一定区间内可以任意取值的变量叫连续变量，其数值是连续不断的。例如，生产零件的规格尺寸，人体测量的身高、体重等，其数值只能用测量或计量的方法取得。可视化这类数据的图表主要有箱形图和直方图。离散型数据：数值只能用自然数或整数单位计算的则为离散变量。例如，企业个数，职工人数，设备台数等，只能按计量单位数计数，数值一般用计数方法取得。大多数图表可视化的都是这类数据，比如柱状图、折线图等。
在箱线图中，箱子的中间有一条线，代表了数据的中位数。箱子的上下底，分别是数据的上四分位数（Q3）和下四分位数（Q1），这意味着箱体包含了50%的数据。因此，箱子的高度在一定程度上反映了数据的波动程度。上下边缘则代表了该组数据的最大值和最小值。有时候箱子外部会有一些点，可以理解为数据中的“异常值”。由于箱线图不像柱状图、折线图那样简单常见，许多人都对它敬而远之。但只要我们搞清楚了以下几个统计学的基本概念，箱线图也可以变得“平易近人”。
四分位数是一组数据按照从小到大顺序排列后，把该组数据四等分的数，称为四分位数。第一四分位数 (Q1)、第二四分位数 (Q2，也叫“中位数”)和第三四分位数 (Q3)分别等于该样本中所有数值由小到大排列后第25%、第50%和第75%的数字。第三四分位数与第一四分位数的差距又称四分位距（interquartile range, IQR），包含了整体数据的一半。
箱线图可以直观明了地识别数据批中的异常值。箱形图可以用来观察数据整体的分布情况，利用中位数，25/%分位数，75/%分位数，上边界，下边界等统计量来来描述数据的整体分布情况。通过计算这些统计量，生成一个箱体图，箱体包含了大部分的正常数据，而在箱体上边界和下边界之外的，就是异常数据。判断数据的偏态和尾重。对于标准正态分布的大样本，中位数位于上下四分位数的中央，箱形图的方盒关于中位线对称。中位数越偏离上下四分位数的中心位置，分布偏态性越强。异常值集中在较大值一侧，则分布呈现右偏态；异常值集中在较小值一侧，则分布呈现左偏态。比较多批数据的形状。箱子的上下限，分别是数据的上四分位数和下四分位数。这意味着箱子包含了50%的数据。因此，箱子的宽度在一定程度上反映了数据的波动程度。箱体越扁说明数据越集中，端线（也就是“须”）越短也说明数据集中。凭借着这些“独门绝技”，箱线图在使用场景上也很不一般，最常见的是用于质量管理、人事测评、探索性数据分析等统计分析活动。

箱线图用来捕获一组数据中的异常值，在数据整理的过程中，异常值带来的不良影响是巨大的，我们需要额外重视异常值这一数据，异常值被定义为小于Q1－1.5IQR或大于Q3+1.5IQR的值，而箱线图会将这一部分的值额外展现出来，突出异常值的特异性。异常值的处理分为三种：设为缺失值、填补、不处理。缺失设置为Null值；此类处理最简单，而且绝大多数情况下均使用此类处理；直接将异常值“干掉”，相当于没有该异常值。如果异常值不多时建议使用此类方法。如果异常值非常多时，则可能需要进行填补设置。一些异常值也可能同时包含有用的信息，是否需要剔除，应由分析人员自行判断。

三、案例分析

案例1：职员薪酬分布

下图是不同地区数据分析师的薪酬统计情况。

图中的红线显然是各个城市中游水平的数据分析师能够获得的薪资标准，上边的蓝线区间为中上游，下边的蓝线区间为中下游，以此类推。简而言之，样本人群被四等分了。上海、北京、深圳的数据分析师，薪资范围接近，但是中上游水平的人，北京地区能获得更高的薪资，因为中位数（Q2）的位置更高。西安、长沙、天津则不利于数据分析师的发展。杭州的水平接近北上深，但是薪资上限受到一定限制。

案例2：学生成绩分布

分析不同学年、不同科目的学生成绩也是箱线图的常见应用场景。下图中我们可以看到学生的英语成绩相对其它科目普遍较好，而数学则大部分都出于80分以下。

有时候我们会发现箱形图的某一部分仿佛被隐藏了，比如下图的第一个箱子。

除此之外还有一些极端情况，箱子被压得很扁，甚至只剩下一条线，同时还存在着很多异常值。这些情况的出现，有两个常见的原因。第一，样本数据中，存在特别大或者特别小的异常值，这种离群的表现，导致箱子整体被压缩，反而凸显出来这些异常；第二，样本数据特别少，因此箱体受单个数据的影响被放大了。

案例3：科学研究分析

箱形图最初的诞生无疑是为科研工作量身打造的，在诸多论文中都可以看到箱形图的使用。下图显示了世界各地地表水中29种不同个人护理产品的浓度分布情况。针对所测量的个人护理产品，中位数浓度通常在0.01和0.1 μg / L之间。

参考文献

1.(箱线图怎么判断异常值_箱线图)[https://blog.csdn.net/weixin_28771421/article/details/112156576]
2.(快速识别异常值，箱线图分析来帮你)[https://zhuanlan.zhihu.com/p/269113406]

标签：线图,统计数据,数据,统计学,位数,形图,异常,四分
来源： https://www.cnblogs.com/haohai9309/p/16545729.html