✌ 查看数据异常值

1、✌ 箱线图

✌ 下四分位数Q1：

数据的1/4位置，Qi所在位置=i（n+1）/4，其中i=1，2，3。n表示序列中包含的项数。

例如100个数据，Q1所在位置=（100+1）/ 4

Q1=0.25×Q1位置+0.75×（Q1位置+1）

✌ 中位数Q2：

Q2所在位置=2 *（100+1）/ 4

位于数据的中间位置

Q1=0.5×Q2位置+0.5×（Q2位置+1）

✌ 上四分位数Q3：

Q3所在位置=3 *（100+1）/ 4

Q3=0.75×Q3位置+0.25×（Q3位置+1）

位于数据的3/4位置

✌ 四分位距IQR：

IQR=Q3-Q1

✌ 下限：

下限是非异常范围内的最小值。

下限=Q1-1.5IQR

✌ 上限

上限是非异常范围内的最大值。

上限=Q3+1.5IQR

2、✌ 3σ原则

在正态分布中

σ代表标准差,μ代表均值，x=μ即为图像的对称轴

3σ原则为

数值分布在（μ-σ,μ+σ)中的概率为0.6826

数值分布在（μ-2σ,μ+2σ)中的概率为0.9544

数值分布在（μ-3σ,μ+3σ)中的概率为0.9974

可以认为，Y 的取值几乎全部集中在（μ-3σ,μ+3σ)]区间内，超出这个范围的可能性仅占不到0.3%。

所以可以利用该性质剔除异常值

3、✌ 代码测试

3.1 ✌ 导库

import pandas as pd
import numpy as np

3.2 ✌ 创建数据

x=np.random.randint(10,100,(100000,10))
x=pd.DataFrame(x)
rows=np.random.randint(1,100000,100)
cols=np.random.randint(0,10,100)
x.iloc[rows,cols]=1000
(x==99999999).sum()

3.3 ✌ 箱线图

x.boxplot()

3.4 ✌ 3σ原则

a=pd.DataFrame()
for i in x.columns:
    z=(x[i]-x[i].mean())/x[i].std()
    a[i]=abs(z)>3
a.sum()