数学建模之数据预处理-------数据异常值的处理

简介: 数学建模之数据预处理-------数据异常值的处理

1.数据集成:把不同类型的数据转换成统一的类型;,即格式的统一化;

2.数据规约:包括数据降维,降数据,数据压缩

当不同数据相关性很大时,我们采用降维的方法;当数据的相关性很小时,我们采用降数据的方法

数据降维的主成分分析即PCA,如上图所显示的那样,即旋转坐标轴,x轴上的数据波动范围比较大,而y轴上数据的波动范围比较小,我们便把二维降成一维。

降数据主要采用分层抽样,简单随机抽样;

数据压缩包括压缩感知,图像压缩;

3.数据清洗

数据删除,数据插值(拉格朗日,牛顿插值)最近邻插值(某地势山的高度缺失),线性回归插值,异常数据(必须删除,用平均值,插值代替)

4.数据规划

包括归一化,标准化,线性变换。

二.缺失值的处理

拉格朗日插值法,一维插值,二维插值;

两个不同的函数mesh,meshc第一个是绘制曲面,第二个是绘制带有等高线的。

区别:interp2主要处理的是巨均匀排列的数据,griddata主要处理的是波动起伏比较大的数据。

三.异常值的处理

必须用科学的方法说明该数据异常,主要有正态分布3σ原则,箱型图

3σ代码完成后,输入inlier便可以得出删除异常值之后的数据,因为符合该原则的数据被录入inlier.

2.画箱型图是用boxplot函数

boxplot函数在使用时,需要对矩阵进行转置的操作,即把他化作列向量。

上面的案例是XY的数据相同时的处理方法

这个是XYZ数据量不相同时的处理方法。。

四.数据变换

我们一致的处理原则是极大型(利润),极小型指标(垃圾,污染程度,科研经费),中间型指标(水的PH值),区间型指标(一个学校里老师,学生的比例,体温的范围,水里面植物营养物质的含量)区间性指标需要进行转置变换;这些数据指标。可能有越大越好,也有越小越好,我们需要统一指标。无量纲化处理可以去除单位对于我们最后结果的影响。

极小型指标(可以进行取倒数的操作,得到我们想要的),标准差方法的取值范围不固定,极值差方法(可以变到固定范围,但容易受极大值,极小值的影响)功效系数法(可以变换到我们所需要的范围)----这三种方法均可以取消量纲。

定性指标的量化------不同人的等级评价-----构建模糊隶属函数。

相关文章
|
6月前
|
算法
数学建模-------误差来源以及误差分析
数学建模-------误差来源以及误差分析
252 0
|
6月前
|
数据采集 数据挖掘 数据处理
数据清洗的主要步骤包括**理解数据、处理重复值、处理空缺值、处理异常值、数据标准化和数据收集
【4月更文挑战第3天】数据清洗的主要步骤包括**理解数据、处理重复值、处理空缺值、处理异常值、数据标准化和数据收集
318 2
|
1月前
|
机器学习/深度学习 算法 数据挖掘
统计分析识别和处理异常值
统计分析识别和处理异常值
|
2月前
|
数据可视化
如何使用四分位距方法来识别数据中的异常值?
如何使用四分位距方法来识别数据中的异常值?
|
2月前
|
机器学习/深度学习 算法 数据可视化
如何在机器学习中检测异常值
如何在机器学习中检测异常值
|
4月前
|
机器学习/深度学习 数据采集 算法
Python实现Prophet时间序列数据建模与异常值检测(Prophet算法)项目实战
Python实现Prophet时间序列数据建模与异常值检测(Prophet算法)项目实战
350 2
|
4月前
|
机器学习/深度学习 运维 算法
Python基于局部离群因子LOF算法(LocalOutlierFactor)实现信用卡数据异常值检测项目实战
Python基于局部离群因子LOF算法(LocalOutlierFactor)实现信用卡数据异常值检测项目实战
104 0
|
6月前
|
算法
R语言Outliers异常值检测方法比较
R语言Outliers异常值检测方法比较
|
6月前
|
机器学习/深度学习 运维 算法
【视频】检测异常值的4种方法和R语言时间序列分解异常检测
【视频】检测异常值的4种方法和R语言时间序列分解异常检测
|
6月前
|
算法
R语言异常值检测方法比较
R语言异常值检测方法比较