数据分析基础|R语言(处理缺失值)

简介: 用R语言处理缺失值
+关注继续查看

进行简单的数据处理时,我们处理的基本都是完整的数据集,但是实际问题中我们经常会遇到带有缺失值的数据,处理此类数据也就显得尤为重要。

处理缺失值的一般步骤

首先我们列出处理缺失值的一般步骤,对整个流程有一个大致的了解。

    1. 识别缺失数据;
    2. 检查导致数据缺失的原因;
    3. 删除包含缺失值的实例或用合理的数值插补缺失值。

    数据缺失的种类

      1. 完全随机缺失(MCAR)
      2. 随机缺失(MAR)
      3. 非随机缺失(NMAR)

      完全随机缺失:若某变量的缺失数据与其他任何观测和未观测变量都不相关,则数据为完全随机缺失。

      随机缺失:若某变量上的缺失数据与其他观测变量相关,与他自己的未观测值不相关,则数据为随机缺失。

      非随机缺失:若缺失数据不属于上两种则是非随机缺失。

      识别缺失值

      要想处理缺失值,首先我们就要去识别出来哪些数据是缺失值,R语言中,NA代表缺失值,NaN代表不可能的值,Inf和-Inf代表的是正无穷和负无穷。有对应的函数is.na()、is.nan()、is.infinite()可以分别用来识别缺失值,不可能值以及无穷值,返回的结果是TRUE/FALSE。

      要想统计缺失值的个数,我们可以直接通过sum()函数来对TRUE/FALSE进行统计,其中TRUE的逻辑值是1,FALSE的逻辑值为0,同样不可能的值以及无穷值也可以用此方法进行判断。

      探究缺失值

      对于缺失值,我们只统计他的个数是不可取的,本节中给出探究缺失值的几种方法。

      一、图表显示缺失值

      我们可以用一个图标的形式去展示缺失值,在R语言中mice包中的md.pttern()函数提供了一个可以生成矩阵来显示缺失值的表格,示例如下:

      library(lattice)
      library(mice)
      data(sleep,package="VIM")
      md.pattern(sleep)

      image.gif

      得到的图表结果以及图形结果如下:

      image.png

      image.png

      二、图形展示缺失值

      md.pattren()函数已经给我们清晰的列出了每一项的缺失值,但是图形时一种更能够清晰的表达缺失值的一种方法,VIM包中提供了大量的可视化函数,我们来学习一下其中的一些函数。

      aggr()函数

      library(VIM)
      aggr(sleep,prop=FALSE,numbers=TRUE)

      image.gif

      image.png

      matrixplot()函数

      matrixplot()

      image.gifimage.png


      marginplot()函数

      marginplot(sleep[c("Gest","Dream")],pch=c(20),col=c("darkgray","red","blue"))

      image.gif

      image.png

      缺失值的处理

      一、删除

      对于缺失值的处理首先我们先采用第一种最简单的方法——删除缺失值所在的行,R语言中提供了两种删除缺失值的函数,分别是complete.cases()函数和na.omit()函数。

      对于删除的处理直接对数据进行使用即可,这里不做演示。

      二、多重插补法

      多重插补(MI)是一种基于重复模拟的处理缺失值的方法,在面对复杂的缺失值问题时,MI是常选用的方法,它将从一个包含缺失值的数据集中生成一组完整的数据集。本节中我们将使用R中的mice包对数据集进行插补。

      基于mice包的分析通常要符合以下的过程:

      library(mice)
      imp <- mice(mydata,m)
      fit <- with(imp, analysis)
      pooled <- pool(fit)
      summary(pooled)

      image.gif

      过程说明:

        • mydata是一个包含缺失值的矩阵或数据框
        • imp是一个包含m个插补数据集的列表对象,同时还含有完成插补过程的信息。默认的m的值为5。
        • analysis是一个表达式对象,用来设定应用于m个插补数据集的统计分析方法。
        • fit是一个包含m个单独统计分析结果的列表对象。
        • pooled是一个包含这m个统计平均分析结果的列表对象。

        三、简单插补法

        简单插补法,即用某个值(如均值、中位数、众数)来替换变量中的缺失值。注意的一点是,这些替换是随机的,这也就意味着不会引入随机误差。

        四、处理缺失值的其他方法

        R语言支持其他一些缺失值的处理方法。

        软件包描述
        Hmisc包含多种函数,支持简单插补、多重插补和典型变量插补。
        mvnmle对多元正太分布数据中缺失值的最大似然估计。
        cat对线性模型中多元类别型变量的多重插补。
        arrayInpute、Seqknn处理微阵列缺失数据的实时函数。
        longitudinalData相关的函数列表,比如对时间序列缺失值进行插补的一系列函数。
        kmi处理生存分析缺失值的Kaplan-Meier多重插补。
        mix一般位置模型中混合类别型和连续型数据的多重插补。
        pan多元面板数据或聚类数据的多重插补。
        相关文章
        |
        25天前
        |
        数据挖掘
        r语言数据分析画数据相关性图热力图
        r语言数据分析画数据相关性图热力图
        24 1
        |
        2月前
        |
        机器学习/深度学习 数据采集 数据可视化
        R语言 一种功能强大的数据分析、统计建模 可视化 免费、开源且跨平台 的编程语言
        R语言 一种功能强大的数据分析、统计建模 可视化 免费、开源且跨平台 的编程语言
        46 1
        |
        4月前
        |
        人工智能 数据挖掘 Linux
        ChatGPT × R语言 丨实际数据分析过程中,AI能够带来哪些改变?数据框操作案例分享
        ChatGPT × R语言 丨实际数据分析过程中,AI能够带来哪些改变?数据框操作案例分享
        |
        4月前
        |
        数据采集 机器学习/深度学习 SQL
        绝不可错过!R语言与ggplot2实现SCI论文数据分析神器
        绝不可错过!R语言与ggplot2实现SCI论文数据分析神器
        75 0
        |
        6月前
        |
        数据采集 机器学习/深度学习 数据可视化
        R语言进行股票数据分析
        R语言是网页抓取和数据分析的强大工具。使用R,可以编写爬虫从各种网站提取股票信息,如价格、数量、股息、收益等。然后,可以使用R的内置函数和包来执行各种数据分析任务,例如描述性的统计、可视化、回归、聚类、情绪分析等。R语言可以帮助投资者洞察股市并做出明智的决策。
        |
        7月前
        |
        机器学习/深度学习 数据可视化 数据挖掘
        跟着Nature Communications学数据分析:R语言做随机森林模型并对变量重要性排序
        跟着Nature Communications学数据分析:R语言做随机森林模型并对变量重要性排序
        |
        10月前
        |
        数据挖掘
        |
        10月前
        |
        存储 数据挖掘
        |
        10月前
        |
        数据挖掘 Python
        spss、R语言、Python数据分析系列(7):python-adf单位根检验
        spss、R语言、Python数据分析系列(7):python-adf单位根检验
        109 0
        |
        10月前
        |
        数据挖掘 Python
        spss、R语言、Python数据分析系列(6):R语言adf单位根检验
        spss、R语言、Python数据分析系列(6):R语言adf单位根检验
        692 0
        推荐文章
        更多