1.数据集成:把不同类型的数据转换成统一的类型;,即格式的统一化;
2.数据规约:包括数据降维,降数据,数据压缩
当不同数据相关性很大时,我们采用降维的方法;当数据的相关性很小时,我们采用降数据的方法
数据降维的主成分分析即PCA,如上图所显示的那样,即旋转坐标轴,x轴上的数据波动范围比较大,而y轴上数据的波动范围比较小,我们便把二维降成一维。
降数据主要采用分层抽样,简单随机抽样;
数据压缩包括压缩感知,图像压缩;
3.数据清洗
数据删除,数据插值(拉格朗日,牛顿插值)最近邻插值(某地势山的高度缺失),线性回归插值,异常数据(必须删除,用平均值,插值代替)
4.数据规划
包括归一化,标准化,线性变换。
二.缺失值的处理
拉格朗日插值法,一维插值,二维插值;
两个不同的函数mesh,meshc第一个是绘制曲面,第二个是绘制带有等高线的。
区别:interp2主要处理的是巨均匀排列的数据,griddata主要处理的是波动起伏比较大的数据。
三.异常值的处理
必须用科学的方法说明该数据异常,主要有正态分布3σ原则,箱型图
3σ代码完成后,输入inlier便可以得出删除异常值之后的数据,因为符合该原则的数据被录入inlier.
2.画箱型图是用boxplot函数
boxplot函数在使用时,需要对矩阵进行转置的操作,即把他化作列向量。
上面的案例是XY的数据相同时的处理方法
这个是XYZ数据量不相同时的处理方法。。
四.数据变换
我们一致的处理原则是极大型(利润),极小型指标(垃圾,污染程度,科研经费),中间型指标(水的PH值),区间型指标(一个学校里老师,学生的比例,体温的范围,水里面植物营养物质的含量)区间性指标需要进行转置变换;这些数据指标。可能有越大越好,也有越小越好,我们需要统一指标。无量纲化处理可以去除单位对于我们最后结果的影响。
极小型指标(可以进行取倒数的操作,得到我们想要的),标准差方法的取值范围不固定,极值差方法(可以变到固定范围,但容易受极大值,极小值的影响)功效系数法(可以变换到我们所需要的范围)----这三种方法均可以取消量纲。
定性指标的量化------不同人的等级评价-----构建模糊隶属函数。