《R语言数据分析》——第3章 数据筛选和汇总 3.1 去掉多余的数据

简介:

本节书摘来自华章出版社《R语言数据分析》一书中的第3章,第3.1节,作者盖尔盖伊·道罗齐(Gergely Daróczi),潘怡 译,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

第3章

数据筛选和汇总

当我们从平面文件或数据库(第1章),或直接通过某些API从Web(第2章)完成数据导入后,在开始实际的数据分析操作之前,经常会有必要对原始数据展开聚集、转换及筛选操作。

本章,我们将关注以下内容:

对数据框对象进行行或列筛选

对数据进行汇总和聚集

除了基础的R方法,掌握通过dplyr和data.table等包来优化数据预处理操作的性能

3.1 去掉多余的数据

尽管提前去掉多余数据能实现性能优化(参考1.3节以及1.4节),我们仍然会面临对已经导入到R的原始数据集进行筛选的需求,可以借助subset、which和[或[[操作符等R自带的传统工具和函数来完成这一任务,也可以使用sqldf包中类似SQL语句的方法,例如:

QQ_20170525120225
QQ_20170525120230

我相信那些具有相当SQL基础,并刚刚开始了解R的读者会很喜欢使用这种替代的数据筛选方法,不过我个人建议使用下面这一类似,但更自然和简洁的R版本:

QQ_20170525120233

两个结果之间存在些许差别,这是由于sqldf的row.names参数默认为FALSE,在执行时为了获得完全相同的结果,可重置该参数:

QQ_20170525120238

上述样例着重介绍了如何从data.frame对象中去掉不需要的行,但如果我们希望去掉其中部分列又该怎么办呢?

采用SQL方法来处理这个问题非常简单,只需要在SELECT语句中指明需要去掉的列而不使用*符号即可。另外,subset也可以通过改变select参数的值来实现这个功能,可以用向量或R表达式来填写select参数,例如,指明列的范围:

QQ_20170525120248

还可以将未加引号的列名作为向量代入函数c实现按给定顺序选择一个随机的列表,或者使用-符号来指定列名。例如,subset(mtcars, select = -c(hp, wt))。

接下来我们将探讨在处理一些大数据集时,如何集中利用前面介绍的筛选方法,以弥补使用基础的R函数不能解决的性能问题。

3.1.1 快速去掉多余数据

在数据集的大小不超过实际物理内存时,R处理的效率最高,有不少R包都针对这样的数据集提供了非常快捷的访问方法。

一些测试平台(参见本书附录)给出了比部分开源(例如MySQL、PostgreSQL和Impala)以及商业数据库(例如HP Vertica)所提供效率更高的R统计函数及其实际应用。

在第1章中我们已经探讨部分相关的开发包,并介绍了从hf?lights包读入相当数量的数据到R会话的过程。

以下样例将展示在该数据集上对大约25万行数据进行处理的过程:

QQ_20170525120251

看起来函数base::subset的处理结果比较好,不过我们还能不能再提高处理的效率呢?plyr包的第2代dplyr包(该开发包的相关细节将在本章3.2.3节以及本书第4章进行探讨),为常用数据库操作方法提供速度奇快的C++版本,使用方法更直观:

QQ_20170525120254

更进一步地,我们还可以像之前调用subset函数一样,使用该开发包从数据集中去掉一些列。不过,这里将调用select函数而不是传递一个同名参数:

QQ_20170525120259

看起来执行的结果更像是调用了f?ilter函数而非subset函数,并且眨眼之间命令就已执行完成!dplyr包可以处理传统的data.frame以及data.table对象,也可以直接与最常用的数据引擎进行交互。需注意的是,行的名称在dplyr包的结果中不予保留,因此如果读者需要用到这些信息,最好在使用dplyr包处理数据之前将它们复制到一个显式变量或如下所示的data.table对象中:

QQ_20170525120302

3.1.2 快速去掉多余数据的其他方法

下面我们不使用dplyr包,而是直接利用data.table包自己的方法来解决同样的问题。

data.table包提供了一种基于列自动索引的内存数据结构方法来处理大型数据集,对传统的数据框方法提供向下兼容。

当完成包的装载后,我们需要把hf?lights的传统data.frame对象转换为data.table。再创建一个名为rownames的新列,并将原始数据集的这个新列,通过:=赋值符号,指定到data.table:

QQ_20170525120306

我们还需花些时间来熟悉定制的data.table语法,传统的R用户首次接触该开发包时可能有点不习惯,但是从长远来看还是应该了解该开发包。在花费一定时间了解最初的一些样例后,我们能够通过它获得非常好的处理性能,其语法也更符合R的特点。

事实上,data.table的语法和SQL非常类似:

QQ_20170525120309

等同如下的SQL语句:

QQ_20170525120313

[.data.table(代表应用到data.table对象的操作符)与传统[.data.frame语法相比,使用了不同的参数,如上述样例所示。

此处,我们不会对赋值操作符进行详细探讨,因为作为本书的一个介绍性章节,解释这样一个样例实在太难了,我们还是从比较简单的地方开始着手。因此,更多详细内容请参考本书第4章,或者输入?data.table获得帮助。

因此,?data.table操作符的第一个参数(i)应该代表筛选,或者换句话说,有点像SQL语句中的WHERE子句,而[.data.frame指定了从原始数据集中去掉的行。两个参数间的差别在于前者可以跟任意R表达式,而后者是传统的处理方法,只能跟整数或逻辑值。

无论如何,筛选就和传递一个R表达式到data.table的“[”操作符中参数i一样容易。下面,我们将探讨如何使用data.table语法来选择列,基于上述讨论的通用data.table语法,应该放在第2个参数(j)中完成:

QQ_20170525120316

好了,现在我们拥有了包含符合预期的2个列的3481个观测值。此处,函数list被用来定义需要保留的列,尽管在[.data.frame中更常使用的是函数c (a的基本函数,可用于连接向量元素)。函数c也可以应用于[.data.table,但是必须要将变量名作为字符向量传递进去,并且将with参数设置为FALSE。

QQ_20170525120321

除了使用list,在plyr包里还可以使用“.”来代替函数名,例如:hf?lights_dt[, .(Dep-Time, ArrTime)]。

现在,我们已经或多或少了解了在一个活动的R会话中筛选数据的操作方法,也学习了dplyr以及data.table包的所有相关语法规则,下面我们将探讨如何使用这些方法来完成数据的聚集和汇总分析。

相关文章
|
3月前
|
数据挖掘 PyTorch TensorFlow
|
3月前
|
数据采集 机器学习/深度学习 数据可视化
R语言从数据到决策:R语言在商业分析中的实践
【9月更文挑战第1天】R语言在商业分析中的应用广泛而深入,从数据收集、预处理、分析到预测模型构建和决策支持,R语言都提供了强大的工具和功能。通过学习和掌握R语言在商业分析中的实践应用,我们可以更好地利用数据驱动企业决策,提升企业的竞争力和盈利能力。未来,随着大数据和人工智能技术的不断发展,R语言在商业分析领域的应用将更加广泛和深入,为企业带来更多的机遇和挑战。
|
4月前
|
存储 数据采集 数据处理
R语言数据变换:使用tidyr包进行高效数据整形的探索
【8月更文挑战第29天】`tidyr`包为R语言的数据整形提供了强大的工具。通过`pivot_longer()`、`pivot_wider()`、`separate()`和`unite()`等函数,我们可以轻松地将数据从一种格式转换为另一种格式,以满足不同的分析需求。掌握这些函数的使用,将大大提高我们处理和分析数据的效率。
|
2月前
|
机器学习/深度学习 并行计算 数据挖掘
R语言是一种强大的统计分析工具,广泛应用于数据分析和机器学习领域
【10月更文挑战第21天】R语言是一种强大的统计分析工具,广泛应用于数据分析和机器学习领域。本文将介绍R语言中的一些高级编程技巧,包括函数式编程、向量化运算、字符串处理、循环和条件语句、异常处理和性能优化等方面,以帮助读者更好地掌握R语言的编程技巧,提高数据分析的效率。
49 2
|
2月前
|
数据采集 数据可视化 数据挖掘
R语言与Python:比较两种数据分析工具
R语言和Python是目前最流行的两种数据分析工具。本文将对这两种工具进行比较,包括它们的历史、特点、应用场景、社区支持、学习资源、性能等方面,以帮助读者更好地了解和选择适合自己的数据分析工具。
36 2
|
2月前
|
机器学习/深度学习 人工智能 搜索推荐
某A保险公司的 数据图表和数据分析
某A保险公司的 数据图表和数据分析
63 0
某A保险公司的 数据图表和数据分析
|
4月前
|
数据采集 DataWorks 数据挖掘
提升数据分析效率:DataWorks在企业级数据治理中的应用
【8月更文第25天】本文将探讨阿里巴巴云的DataWorks平台如何通过建立统一的数据标准、规范以及实现数据质量监控和元数据管理来提高企业的数据分析效率。我们将通过具体的案例研究和技术实践来展示DataWorks如何简化数据处理流程,减少成本,并加速业务决策。
483 54
|
2月前
|
机器学习/深度学习 数据采集 数据可视化
如何理解数据分析及数据的预处理,分析建模,可视化
如何理解数据分析及数据的预处理,分析建模,可视化
53 0
|
3月前
R语言基于表格文件的数据绘制具有多个系列的柱状图与直方图
【9月更文挑战第9天】在R语言中,利用`ggplot2`包可绘制多系列柱状图与直方图。首先读取数据文件`data.csv`,加载`ggplot2`包后,使用`ggplot`函数指定轴与填充颜色,并通过`geom_bar`或`geom_histogram`绘图。参数如`stat`, `position`, `alpha`等可根据需要调整,实现不同系列的图表展示。
|
3月前
|
机器学习/深度学习 数据挖掘 TensorFlow
🔍揭秘Python数据分析奥秘,TensorFlow助力解锁数据背后的亿万商机
【9月更文挑战第11天】在信息爆炸的时代,数据如沉睡的宝藏,等待发掘。Python以简洁的语法和丰富的库生态成为数据分析的首选,而TensorFlow则为深度学习赋能,助你洞察数据核心,解锁商机。通过Pandas库,我们可以轻松处理结构化数据,进行统计分析和可视化;TensorFlow则能构建复杂的神经网络模型,捕捉非线性关系,提升预测准确性。两者的结合,让你在商业竞争中脱颖而出,把握市场脉搏,释放数据的无限价值。以下是使用Pandas进行简单数据分析的示例:
46 5