本版块打算分享一些数据分析过程中用到的数据清洗，统计分析，建立简单模型等。
拿到数据后，在清楚了分析需求后，别急着各种统计、模型一块上，先给数据做个“清洁”再说。数据中往往会有各种缺失值，异常值，错误值等，今天先介绍一下如何处理缺失值，才能更好的数据分析，更准确高效的建模。
一 查看数据集的缺失情况
R中使用NA代表缺失值，用is.na识别缺失值，返回值为TRUE或FALSE。由于逻辑值TRUE和FALSE分别等价于数值1和0，可用sum()和mean()来获取数据集的缺失情况。
载入R包及内置数据集
library(VIM) #VIM包的sleep数据集示例 data(sleep,package="VIM")
1）查看数据集整体有多少缺失值及百分比
sum(is.na(sleep)) mean(is.na(sleep))
2）查看数据集特定变量(列)有多少缺失值及百分比
sum(is.na(sleep$Sleep)) mean(is.na(sleep$Sleep))
3）数据集中多个行包含缺失值
mean(!complete.cases(sleep))
4）列出没有缺失值的行
sleep[complete.cases(sleep),] #利用函数 list <-which(rowSums(is.na(sleep)) > 0) ; sleep[-list,] # 效果同上
5）列出有一个或多个缺失值的行
sleep[!complete.cases(sleep),] list <-which(rowSums(is.na(sleep)) > 0) ; sleep[list,]
二 探索缺失值
2.1 mice包展示数据整体的缺失情况
library(mice) md.pattern(sleep) BodyWgt BrainWgt Pred Exp Danger Sleep Span Gest Dream NonD 42 1 1 1 1 1 1 1 1 1 1 0 9 1 1 1 1 1 1 1 1 0 0 2 3 1 1 1 1 1 1 1 0 1 1 1 2 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 0 1 0 0 3 1 1 1 1 1 1 1 0 0 1 1 2 2 1 1 1 1 1 0 1 1 1 0 2 2 1 1 1 1 1 0 1 1 0 0 3 0 0 0 0 0 4 4 4 12 14 38
其中 ’1’代表完好数据，’0’代表缺失值。左侧第一列，’42’代表有42条数据无缺失值，第一个’9’代表9条数据Dream和NonD同时缺失。最后一行返回的就是每一个变量（列）对应的缺失数目，38为一共有多少缺失值。下图同样的意思。
2.2 VIM包展示数据缺失情况
1）展示sleep数据集的整体缺失情况
library("VIM") aggr(sleep,prop=FALSE,numbers=TRUE)
2）展示sleep数据集感兴趣的变量的缺失情况
marginplot(sleep[c("Sleep","Dream")],pch=c(20),col=c("darkgray","red","blue"))
三 处理缺失值
当充分了解了缺失值的情况后，可以根据数据量的大小，以及某一列是否为重要的预测作用变量，对数据集中的NA行和某些NA列进行处理。
3.1 删除缺失值
1）删除数据集中所有含有NA的行和列
sleep_noNA <- na.omit(sleep) sleep_noNA <- x[complete.cases(sleep),] #两种一样的效果
2）删除所有含有NA的列
na_flag <- apply(is.na(sleep), 2, sum) sleep[,which(na_flag == 0)]
3）删除所有含有NA的行
na_flag <- apply(is.na(sleep), 1, sum) sleep[which(na_flag == 0),]
4）根据某些列的NA，移除相应的行
sleep[complete.cases(sleep[,c(1,3)]),]
4）表示将向量x中所以NA元素用某个值来代替
sleep[is.na(sleep)] <- 999
3.2 填充缺失值
当数据量不是很大或者变量比较重要时候，可以考虑对缺失值进行填充。
1）常见数值填补
library(Hmisc) data(sleep) #均值填充，适用于接近正态分布 impute(sleep$NonD , mean) #中位数填充，偏态数据但是不是很严重 impute(sleep$Dream , median) # 填充特定值 impute(sleep$Span, 0)
2）DMwR包进行kNN最近邻插补
library(DMwR) data(sleep) data <- sleep # 备份数据，对比填充结果 set.seed(1120) sleep$BrainWgt[sample(nrow(sleep), 20)] <- NA head(sleep) BodyWgt BrainWgt NonD Dream Sleep Span Gest Pred Exp Danger 1 6654.000 5712.0 NA NA 3.3 38.6 645 3 5 3 2 1.000 6.6 6.3 2.0 8.3 4.5 42 3 1 3 3 3.385 NA NA NA 12.5 14.0 60 1 1 1 4 0.920 5.7 NA NA 16.5 NA 25 5 2 3 5 2547.000 4603.0 2.1 1.8 3.9 69.0 624 3 5 4 6 10.550 NA 9.1 0.7 9.8 27.0 180 4 4 4
# 最近邻填补缺失值
knnOutput <- knnImputation(sleep[c(1:6)]) anyNA(knnOutput) head(knnOutput) BodyWgt BrainWgt NonD Dream Sleep Span 1 6654.000 5712.00000 2.534467 1.675830 3.3 38.600000 2 1.000 6.60000 6.300000 2.000000 8.3 4.500000 3 3.385 19.67034 10.109710 2.248604 12.5 14.000000 4 0.920 5.70000 12.803345 3.353104 16.5 8.173568 5 2547.000 4603.00000 2.100000 1.800000 3.9 69.000000 6 10.550 95.83459 9.100000 0.700000 9.8 27.000000
# 将插补值与实际值进行对照
actuals <-data$BrainWgt[is.na(sleep$BrainWgt)] predicteds <- knnOutput[is.na(sleep$BrainWgt),"BrainWgt"]
# 两样本均值检验并计算其相似度
t.test(actuals, predicteds) # 接受差值为0的假设 cor(actuals, predicteds) # 相关系数
当然根据数据和目的的不同，采用的缺失值处理方式肯定不一样，需要我们对数据和需求有足够的认识，做出比较好的判断和处理。
