《R语言数据挖掘:实用项目解析》——第2章,第2.7节列联表、二元统计及数据正态性检验

简介:

本节书摘来自华章出版社《R语言数据挖掘:实用项目解析》一书中的第2章,第2.7节列联表、二元统计及数据正态性检验,作者[印度]普拉迪帕塔·米什拉(Pradeepta Mishra),更多章节内容可以访问云栖社区“华章计算机”公众号查看

2.7 列联表、二元统计及数据正态性检验
列联表是由两个或多个分类变量及每个分类所占比例构成的频率表。频率表展示的是一个分类变量,而列联表用来展示两个分类变量。
我们以Cars93数据集为例,来解读列联表、二元统计和数据正态性:


2219767de9ea12ad8b2e89e9f77ebc328402ddc3

前面已给出过汽车的两个分类变量AirBags和Type各自的频率表:


9d0228c79e34fcb747f5ce19d4a8e01f0a8f29bd


42d387f54383974a82aa750ec7b201c775bf6423

如上面的代码所示,conTable对象保存了两个变量的交叉表。每个单元的百分比显示在下列代码中。如果需要计算行百分比或列百分比,则需要指定相应参数的值:


c4af3c55d03c83c65e7f89132e6c3e7253790669

若要计算行百分比,则应将值设为1。若要计算列百分比,则应将值设为2。代码如下:


d3b2edd83c74df1654afc80fb77ef4923e12ce20

列联表的概览(summary)用于实现两个分类变量的独立性检验(卡方检验):


544c1e5669ee487fd786de33af6cf203b3037b4b

对所有因子的卡方独立性检验在之前讲过了。卡方近似值有可能因列联表中存在空值或少于5个值而不准确。在之前的例子中,对于汽车类型和安全气囊这两个随机变量,如果一个变量的概率分布不影响另一个变量的概率分布,则说明它们是独立的。对于卡方独立性检验的零假设是两个变量相互独立。因为此检验的p值小于0.05,我们有5%的显著性水平否定两个变量是独立的零假设。所以结论是汽车类型和安全气囊不是相互独立的,即它们相关或依赖。
如果不是两个变量,我们给列联表再加一维会怎么样?取Origin,列联表的代码会显示如下:


fa3ec442f71e950b53ab4eb515af4233ddd6bb77

对所有因子的独立性检验结果执行summay命令可检验零假设:


6446b3075584d57943b03b3eda54b0f4a99ae65d

除了之前讨论的绘图方法,R语言中还有一些数值统计检验可用于查看一个变量是否呈正态分布。有个名为norm.test的库可用于执行数据正态性检验,该库中一系列用于检验数据正态性的函数如下所示:


c9ea5c45f004d40c80987705845efe4b9e123520


198af8d3c0792ce04f7eed9952c9b426860f5bd1

我们来对Cars93数据集中的Price变量进行正态检验:


d2703f9708ed3ec3c1c76c1fc9bf38a6bb7dc70e

由以上的检验得知,因所有统计检验的p值都小于0.05,可知Price变量不是正态分布。如果给二元关系再增加一个维度,即变成多元分析。我们来试着理解一下Cars93数据集中马力(horsepower)和车长(length of car)之间的关系:


c0090b26a577fc8825c01ea4c95c41097af4366f

当纳入更多变量时,这就变成多元关系了。下面给出一个Cars93数据集中多变量之间多元关系的示意图:


1c0871ee965987df3ad906aef704f76a93a62a4c

有多种方法可作为参数传递给关联绘图。它们是"circle""square""ellipse""number"
"shade""color"和"pie"。

相关文章
|
机器学习/深度学习 数据采集 算法
数据挖掘:从数据堆里“淘金”,你的数据价值被挖掘了吗?
数据挖掘:从数据堆里“淘金”,你的数据价值被挖掘了吗?
574 12
|
数据采集 机器学习/深度学习 算法
R语言数据挖掘:从“挖井”到“淘金”
R语言数据挖掘:从“挖井”到“淘金”
297 9
|
机器学习/深度学习 数据采集 人工智能
从数据海洋中“淘金”——数据挖掘的魔法与实践
从数据海洋中“淘金”——数据挖掘的魔法与实践
367 13
|
数据采集 传感器 算法
从数据中挖掘洞见:初探数据挖掘的艺术与科学
从数据中挖掘洞见:初探数据挖掘的艺术与科学
399 11
|
SQL 存储 算法
【数据挖掘】恒生金融有限公司2023届秋招数据ETL工程师笔试题解析
恒生科技2022年9月24号数据ETL工程师岗位的笔试题目及答案汇总,包括了SQL选择题、SQL编程题和业务应用SQL编程题,涵盖了数据库基础知识、SQL语句编写以及数据仓库概念等多个方面。
402 2
【数据挖掘】恒生金融有限公司2023届秋招数据ETL工程师笔试题解析
|
机器学习/深度学习 安全 算法
【2023年第十一届泰迪杯数据挖掘挑战赛】A题:新冠疫情防控数据的分析 32页和40页论文及实现代码
本文总结了2023年第十一届泰迪杯数据挖掘挑战赛A题的新冠疫情防控数据分析,提供了32页和40页的论文以及实现代码,涉及密接者追踪、疫苗接种影响分析、重点场所管控以及疫情趋势研判等多个方面,运用了机器学习算法和SEIR传染病模型等方法。
508 0
【2023年第十一届泰迪杯数据挖掘挑战赛】A题:新冠疫情防控数据的分析 32页和40页论文及实现代码
|
机器学习/深度学习 安全 算法
【2023年第十一届泰迪杯数据挖掘挑战赛】A题:新冠疫情防控数据的分析 建模方案及python代码详解
本文介绍了2023年第十一届泰迪杯数据挖掘挑战赛A题的解题思路和Python代码实现,涵盖了新冠疫情防控数据的分析、建模方案以及数据治理的具体工作。
472 0
【2023年第十一届泰迪杯数据挖掘挑战赛】A题:新冠疫情防控数据的分析 建模方案及python代码详解
|
数据采集 机器学习/深度学习 算法
R语言上市公司经营绩效实证研究 ——因子分析、聚类分析、正态性检验、信度检验
R语言上市公司经营绩效实证研究 ——因子分析、聚类分析、正态性检验、信度检验
|
数据采集 存储 算法
数据分享|Weka数据挖掘Apriori关联规则算法分析用户网购数据
数据分享|Weka数据挖掘Apriori关联规则算法分析用户网购数据
|
移动开发 算法 数据可视化
数据分享|Spss Modeler关联规则Apriori模型、Carma算法分析超市顾客购买商品数据挖掘实例
数据分享|Spss Modeler关联规则Apriori模型、Carma算法分析超市顾客购买商品数据挖掘实例

推荐镜像

更多
  • DNS