《R语言数据分析》——第3章 数据筛选和汇总 3.1 去掉多余的数据

简介:

本节书摘来自华章出版社《R语言数据分析》一书中的第3章,第3.1节,作者盖尔盖伊·道罗齐(Gergely Daróczi),潘怡 译,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

第3章

数据筛选和汇总

当我们从平面文件或数据库(第1章),或直接通过某些API从Web(第2章)完成数据导入后,在开始实际的数据分析操作之前,经常会有必要对原始数据展开聚集、转换及筛选操作。

本章,我们将关注以下内容:

对数据框对象进行行或列筛选

对数据进行汇总和聚集

除了基础的R方法,掌握通过dplyr和data.table等包来优化数据预处理操作的性能

3.1 去掉多余的数据

尽管提前去掉多余数据能实现性能优化(参考1.3节以及1.4节),我们仍然会面临对已经导入到R的原始数据集进行筛选的需求,可以借助subset、which和[或[[操作符等R自带的传统工具和函数来完成这一任务,也可以使用sqldf包中类似SQL语句的方法,例如:

QQ_20170525120225
QQ_20170525120230

我相信那些具有相当SQL基础,并刚刚开始了解R的读者会很喜欢使用这种替代的数据筛选方法,不过我个人建议使用下面这一类似,但更自然和简洁的R版本:

QQ_20170525120233

两个结果之间存在些许差别,这是由于sqldf的row.names参数默认为FALSE,在执行时为了获得完全相同的结果,可重置该参数:

QQ_20170525120238

上述样例着重介绍了如何从data.frame对象中去掉不需要的行,但如果我们希望去掉其中部分列又该怎么办呢?

采用SQL方法来处理这个问题非常简单,只需要在SELECT语句中指明需要去掉的列而不使用*符号即可。另外,subset也可以通过改变select参数的值来实现这个功能,可以用向量或R表达式来填写select参数,例如,指明列的范围:

QQ_20170525120248

还可以将未加引号的列名作为向量代入函数c实现按给定顺序选择一个随机的列表,或者使用-符号来指定列名。例如,subset(mtcars, select = -c(hp, wt))。

接下来我们将探讨在处理一些大数据集时,如何集中利用前面介绍的筛选方法,以弥补使用基础的R函数不能解决的性能问题。

3.1.1 快速去掉多余数据

在数据集的大小不超过实际物理内存时,R处理的效率最高,有不少R包都针对这样的数据集提供了非常快捷的访问方法。

一些测试平台(参见本书附录)给出了比部分开源(例如MySQL、PostgreSQL和Impala)以及商业数据库(例如HP Vertica)所提供效率更高的R统计函数及其实际应用。

在第1章中我们已经探讨部分相关的开发包,并介绍了从hf?lights包读入相当数量的数据到R会话的过程。

以下样例将展示在该数据集上对大约25万行数据进行处理的过程:

QQ_20170525120251

看起来函数base::subset的处理结果比较好,不过我们还能不能再提高处理的效率呢?plyr包的第2代dplyr包(该开发包的相关细节将在本章3.2.3节以及本书第4章进行探讨),为常用数据库操作方法提供速度奇快的C++版本,使用方法更直观:

QQ_20170525120254

更进一步地,我们还可以像之前调用subset函数一样,使用该开发包从数据集中去掉一些列。不过,这里将调用select函数而不是传递一个同名参数:

QQ_20170525120259

看起来执行的结果更像是调用了f?ilter函数而非subset函数,并且眨眼之间命令就已执行完成!dplyr包可以处理传统的data.frame以及data.table对象,也可以直接与最常用的数据引擎进行交互。需注意的是,行的名称在dplyr包的结果中不予保留,因此如果读者需要用到这些信息,最好在使用dplyr包处理数据之前将它们复制到一个显式变量或如下所示的data.table对象中:

QQ_20170525120302

3.1.2 快速去掉多余数据的其他方法

下面我们不使用dplyr包,而是直接利用data.table包自己的方法来解决同样的问题。

data.table包提供了一种基于列自动索引的内存数据结构方法来处理大型数据集,对传统的数据框方法提供向下兼容。

当完成包的装载后,我们需要把hf?lights的传统data.frame对象转换为data.table。再创建一个名为rownames的新列,并将原始数据集的这个新列,通过:=赋值符号,指定到data.table:

QQ_20170525120306

我们还需花些时间来熟悉定制的data.table语法,传统的R用户首次接触该开发包时可能有点不习惯,但是从长远来看还是应该了解该开发包。在花费一定时间了解最初的一些样例后,我们能够通过它获得非常好的处理性能,其语法也更符合R的特点。

事实上,data.table的语法和SQL非常类似:

QQ_20170525120309

等同如下的SQL语句:

QQ_20170525120313

[.data.table(代表应用到data.table对象的操作符)与传统[.data.frame语法相比,使用了不同的参数,如上述样例所示。

此处,我们不会对赋值操作符进行详细探讨,因为作为本书的一个介绍性章节,解释这样一个样例实在太难了,我们还是从比较简单的地方开始着手。因此,更多详细内容请参考本书第4章,或者输入?data.table获得帮助。

因此,?data.table操作符的第一个参数(i)应该代表筛选,或者换句话说,有点像SQL语句中的WHERE子句,而[.data.frame指定了从原始数据集中去掉的行。两个参数间的差别在于前者可以跟任意R表达式,而后者是传统的处理方法,只能跟整数或逻辑值。

无论如何,筛选就和传递一个R表达式到data.table的“[”操作符中参数i一样容易。下面,我们将探讨如何使用data.table语法来选择列,基于上述讨论的通用data.table语法,应该放在第2个参数(j)中完成:

QQ_20170525120316

好了,现在我们拥有了包含符合预期的2个列的3481个观测值。此处,函数list被用来定义需要保留的列,尽管在[.data.frame中更常使用的是函数c (a的基本函数,可用于连接向量元素)。函数c也可以应用于[.data.table,但是必须要将变量名作为字符向量传递进去,并且将with参数设置为FALSE。

QQ_20170525120321

除了使用list,在plyr包里还可以使用“.”来代替函数名,例如:hf?lights_dt[, .(Dep-Time, ArrTime)]。

现在,我们已经或多或少了解了在一个活动的R会话中筛选数据的操作方法,也学习了dplyr以及data.table包的所有相关语法规则,下面我们将探讨如何使用这些方法来完成数据的聚集和汇总分析。

相关文章
|
7月前
|
数据采集 数据可视化 数据挖掘
Pandas数据应用:天气数据分析
本文介绍如何使用 Pandas 进行天气数据分析。Pandas 是一个强大的 Python 数据处理库,适合处理表格型数据。文章涵盖加载天气数据、处理缺失值、转换数据类型、时间序列分析(如滚动平均和重采样)等内容,并解决常见报错如 SettingWithCopyWarning、KeyError 和 TypeError。通过这些方法,帮助用户更好地进行气候趋势预测和决策。
255 71
|
6月前
|
SQL 数据可视化 大数据
从数据小白到大数据达人:一步步成为数据分析专家
从数据小白到大数据达人:一步步成为数据分析专家
373 92
|
7月前
|
存储 数据采集 数据可视化
Pandas数据应用:电子商务数据分析
本文介绍如何使用 Pandas 进行电子商务数据分析,涵盖数据加载、清洗、预处理、分析与可视化。通过 `read_csv` 等函数加载数据,利用 `info()` 和 `describe()` 探索数据结构和统计信息。针对常见问题如缺失值、重复记录、异常值等,提供解决方案,如 `dropna()`、`drop_duplicates()` 和正则表达式处理。结合 Matplotlib 等库实现数据可视化,探讨内存不足和性能瓶颈的应对方法,并总结常见报错及解决策略,帮助提升电商企业的数据分析能力。
308 73
|
10月前
|
数据挖掘 PyTorch TensorFlow
|
5月前
|
SQL 人工智能 数据可视化
数据团队必读:智能数据分析文档(DataV Note)五种高效工作模式
数据项目复杂,涉及代码、数据、运行环境等多部分。随着AI发展,数据科学团队面临挑战。协作式数据文档(如阿里云DataV Note)成为提升效率的关键工具。它支持跨角色协同、异构数据处理、多语言分析及高效沟通,帮助创建知识库,实现可重现的数据科学过程,并通过一键分享报告促进数据驱动决策。未来,大模型AI将进一步增强其功能,如智能绘图、总结探索、NLP2SQL/Python和AutoReport,为数据分析带来更多可能。
205 21
|
10月前
|
数据采集 机器学习/深度学习 数据可视化
R语言从数据到决策:R语言在商业分析中的实践
【9月更文挑战第1天】R语言在商业分析中的应用广泛而深入,从数据收集、预处理、分析到预测模型构建和决策支持,R语言都提供了强大的工具和功能。通过学习和掌握R语言在商业分析中的实践应用,我们可以更好地利用数据驱动企业决策,提升企业的竞争力和盈利能力。未来,随着大数据和人工智能技术的不断发展,R语言在商业分析领域的应用将更加广泛和深入,为企业带来更多的机遇和挑战。
|
4月前
|
机器学习/深度学习 传感器 数据采集
基于机器学习的数据分析:PLC采集的生产数据预测设备故障模型
本文介绍如何利用Python和Scikit-learn构建基于PLC数据的设备故障预测模型。通过实时采集温度、振动、电流等参数,进行数据预处理和特征提取,选择合适的机器学习模型(如随机森林、XGBoost),并优化模型性能。文章还分享了边缘计算部署方案及常见问题排查,强调模型预测应结合定期维护,确保系统稳定运行。
513 0
|
6月前
|
存储 数据采集 数据可视化
Pandas数据应用:医疗数据分析
Pandas是Python中强大的数据操作和分析库,广泛应用于医疗数据分析。本文介绍了使用Pandas进行医疗数据分析的常见问题及解决方案,涵盖数据导入、预处理、清洗、转换、可视化等方面。通过解决文件路径错误、编码不匹配、缺失值处理、异常值识别、分类变量编码等问题,结合Matplotlib等工具实现数据可视化,并提供了解决常见报错的方法。掌握这些技巧可以提高医疗数据分析的效率和准确性。
194 22
|
8月前
|
存储 机器学习/深度学习 数据可视化
数据集中存在大量的重复值,会对后续的数据分析和处理产生什么影响?
数据集中存在大量重复值可能会对后续的数据分析和处理产生多方面的负面影响
460 56
|
5月前
|
SQL 数据可视化 IDE
SQL做数据分析的困境,查询语言无法回答的真相
SQL 在简单数据分析任务中表现良好,但面对复杂需求时显得力不从心。例如,统计新用户第二天的留存率或连续活跃用户的计算,SQL 需要嵌套子查询和复杂关联,代码冗长难懂。Python 虽更灵活,但仍需变通思路,复杂度较高。相比之下,SPL(Structured Process Language)语法简洁、支持有序计算和分组子集保留,具备强大的交互性和调试功能,适合处理复杂的深度数据分析任务。SPL 已开源免费,是数据分析师的更好选择。