一.寻找缺失值
1.complete.cases()
#会展现缺失值 algae[!complete.cases(algae),]
2.manyNAs
> manyNAs(algae) [1] 62 199 #表示第62条和第199条都有很多缺失值 >manyNAs(algae,0.2) #如果这条记录超过所有记录的20%,那么就把他记录下来
二.缺失值的处理
1.直接删除
(1)na.omit()
x<-algae y<-na.omit(x)
(2)删除缺失值较多的记录
> manyNAs(algae) [1] 62 199 x<-algae[-c(62,199),]
2.填补缺失值
(1)根据相关关系填补缺失值
col(algae[,4:18],use="complete.obs") 可以得到第4个数据到第18个数据的相关关系 symnum(cor(algae[,4:18],use="complete.obs")) x<-algae[[-manyNAs(algae),] #相关性最高的两个参数 lm(pO4~oPo4,data=x)
PO4=42.897+1.293*oPO4
#如果PO4为缺失值,可以根据此公式进行填补,那么就可以保证一定的精确性,因为两个参数的相关性较高
(2)根据相似性填补缺失值
# 创建一个包含完整样本的数据框 df <- data.frame( x = c(1, 2, 3, 4, 5), y = c(2, 4, 5, 6, 7), z = c(1, 3, 2, 4, 5) ) # 创建含有缺失值的数据框 missing_sample <- data.frame( x = NA, y = NA, z = NA ) # 欧氏距离计算函数 euclidean_distance <- function(a, b) { sqrt(sum((a - b)^2, na.rm = TRUE)) } # 计算欧氏距离 distances <- apply(df, 1, function(row) euclidean_distance(row, missing_sample)) # 找到最相似的完整样本 most_similar_index <- which.min(distances) most_similar_sample <- df[most_similar_index, ] # 输出结果 print(most_similar_sample)
(3)使用knnImputation()
- data:要进行插补的数据,可以是一个矩阵、数据框或时间序列对象。
- k:KNN插补的K值,即最近邻居的数量。默认值为5。
- distance:用于计算相似性的距离度量方法。可以是欧氏距离("euclidean")或曼哈顿距离("manhattan")。默认值为"euclidean"。
- weights:指定是否使用加权平均值进行插补。默认为FALSE,表示不使用加权平均值。
- missing_neighbors:用于插补的最近邻居的数量。默认为NULL,表示根据给定的K值自动选择最近邻居。
- normalize:指定是否对数据进行归一化处理。默认为TRUE,表示对数据进行归一化。
- k_iter:指定迭代次数,当填补结果包含缺失值时可以继续迭代填补。默认为1,表示只进行一次迭代。
library(imputeTS) # 创建具有缺失值的数据框 df <- data.frame( x = c(1, 2, NA, 4, 5), y = c(2, 4, 5, NA, 7), z = c(1, NA, 2, 4, 5) ) # 使用默认参数调用knnImputation函数 df_imputed <- knnImputation(df) # 打印结果 print(df_imputed)