R语言中缺失值的处理

简介: R语言中缺失值的处理

一.寻找缺失值

1.complete.cases()

#会展现缺失值
algae[!complete.cases(algae),]

2.manyNAs

> manyNAs(algae)
[1] 62 199
#表示第62条和第199条都有很多缺失值
>manyNAs(algae,0.2)
#如果这条记录超过所有记录的20%,那么就把他记录下来

二.缺失值的处理

1.直接删除

(1)na.omit()


x<-algae
y<-na.omit(x)

(2)删除缺失值较多的记录


> manyNAs(algae)
[1] 62 199
x<-algae[-c(62,199),]

2.填补缺失值

(1)根据相关关系填补缺失值


col(algae[,4:18],use="complete.obs")
可以得到第4个数据到第18个数据的相关关系
symnum(cor(algae[,4:18],use="complete.obs"))
x<-algae[[-manyNAs(algae),]
#相关性最高的两个参数
lm(pO4~oPo4,data=x)


PO4=42.897+1.293*oPO4


#如果PO4为缺失值,可以根据此公式进行填补,那么就可以保证一定的精确性,因为两个参数的相关性较高


(2)根据相似性填补缺失值


# 创建一个包含完整样本的数据框
df <- data.frame(
  x = c(1, 2, 3, 4, 5),
  y = c(2, 4, 5, 6, 7),
  z = c(1, 3, 2, 4, 5)
)
# 创建含有缺失值的数据框
missing_sample <- data.frame(
  x = NA,
  y = NA,
  z = NA
)
# 欧氏距离计算函数
euclidean_distance <- function(a, b) {
  sqrt(sum((a - b)^2, na.rm = TRUE))
}
# 计算欧氏距离
distances <- apply(df, 1, function(row) euclidean_distance(row, missing_sample))
# 找到最相似的完整样本
most_similar_index <- which.min(distances)
most_similar_sample <- df[most_similar_index, ]
# 输出结果
print(most_similar_sample)


(3)使用knnImputation()


  • data:要进行插补的数据,可以是一个矩阵、数据框或时间序列对象。
  • k:KNN插补的K值,即最近邻居的数量。默认值为5。
  • distance:用于计算相似性的距离度量方法。可以是欧氏距离("euclidean")或曼哈顿距离("manhattan")。默认值为"euclidean"。
  • weights:指定是否使用加权平均值进行插补。默认为FALSE,表示不使用加权平均值。
  • missing_neighbors:用于插补的最近邻居的数量。默认为NULL,表示根据给定的K值自动选择最近邻居。
  • normalize:指定是否对数据进行归一化处理。默认为TRUE,表示对数据进行归一化。
  • k_iter:指定迭代次数,当填补结果包含缺失值时可以继续迭代填补。默认为1,表示只进行一次迭代。
library(imputeTS)
# 创建具有缺失值的数据框
df <- data.frame(
  x = c(1, 2, NA, 4, 5),
  y = c(2, 4, 5, NA, 7),
  z = c(1, NA, 2, 4, 5)
)
# 使用默认参数调用knnImputation函数
df_imputed <- knnImputation(df)
# 打印结果
print(df_imputed)
目录
相关文章
|
3月前
|
数据采集 机器学习/深度学习 数据挖掘
R语言数据清洗:高效处理缺失值与重复数据的策略
【8月更文挑战第29天】处理缺失值和重复数据是数据清洗中的基础而重要的步骤。在R语言中,我们拥有多种工具和方法来有效地应对这些问题。通过识别、删除或插补缺失值,以及删除重复数据,我们可以提高数据集的质量和可靠性,为后续的数据分析和建模工作打下坚实的基础。 需要注意的是,处理缺失值和重复数据时,我们应根据实际情况和数据特性选择合适的方法,并在处理过程中保持谨慎,以避免引入新的偏差或错误。
|
6月前
|
数据可视化
数据代码分享|R语言lasso回归、贝叶斯分析员工满意度调查数据、缺失值填充
数据代码分享|R语言lasso回归、贝叶斯分析员工满意度调查数据、缺失值填充
|
6月前
|
机器学习/深度学习 数据采集 数据可视化
R语言航班延误影响预测分析:lasso、决策树、朴素贝叶斯、QDA、LDA、缺失值处理、k折交叉验证(上)
R语言航班延误影响预测分析:lasso、决策树、朴素贝叶斯、QDA、LDA、缺失值处理、k折交叉验证
|
6月前
|
机器学习/深度学习 算法 前端开发
【视频】为什么要处理缺失数据?如何用R语言进行缺失值填充?
【视频】为什么要处理缺失数据?如何用R语言进行缺失值填充?
|
6月前
R语言偏最小二乘回归PLS回归分析制药产品化学制造过程数据、缺失值填充、变量重要性
R语言偏最小二乘回归PLS回归分析制药产品化学制造过程数据、缺失值填充、变量重要性
|
6月前
|
机器学习/深度学习 算法 数据挖掘
R语言航班延误影响预测分析:lasso、决策树、朴素贝叶斯、QDA、LDA、缺失值处理、k折交叉验证(下)
R语言航班延误影响预测分析:lasso、决策树、朴素贝叶斯、QDA、LDA、缺失值处理、k折交叉验证
|
6月前
|
数据采集
R语言用线性模型进行臭氧预测: 加权泊松回归,普通最小二乘,加权负二项式模型,多重插补缺失值
R语言用线性模型进行臭氧预测: 加权泊松回归,普通最小二乘,加权负二项式模型,多重插补缺失值
|
6月前
|
机器学习/深度学习 算法
在R语言中进行缺失值填充:估算缺失值
在R语言中进行缺失值填充:估算缺失值
|
6月前
|
数据可视化 算法 安全
超详细的 R 语言插补缺失值教程来啦~
超详细的 R 语言插补缺失值教程来啦~
172 0
|
数据采集 数据可视化 数据挖掘
R语言之缺失值处理
R语言之缺失值处理
192 0