本节书摘来自华章出版社《R语言数据分析》一书中的第3章，第3.1节，作者盖尔盖伊·道罗齐（Gergely Daróczi），潘怡　译，更多章节内容可以访问云栖社区“华章计算机”公众号查看。

第3章

数据筛选和汇总

当我们从平面文件或数据库（第1章），或直接通过某些API从Web（第2章）完成数据导入后，在开始实际的数据分析操作之前，经常会有必要对原始数据展开聚集、转换及筛选操作。

本章，我们将关注以下内容：

对数据框对象进行行或列筛选

对数据进行汇总和聚集

除了基础的R方法，掌握通过dplyr和data.table等包来优化数据预处理操作的性能

3.1　去掉多余的数据

尽管提前去掉多余数据能实现性能优化（参考1.3节以及1.4节），我们仍然会面临对已经导入到R的原始数据集进行筛选的需求，可以借助subset、which和[或[[操作符等R自带的传统工具和函数来完成这一任务，也可以使用sqldf包中类似SQL语句的方法，例如：

我相信那些具有相当SQL基础，并刚刚开始了解R的读者会很喜欢使用这种替代的数据筛选方法，不过我个人建议使用下面这一类似，但更自然和简洁的R版本：

两个结果之间存在些许差别，这是由于sqldf的row.names参数默认为FALSE，在执行时为了获得完全相同的结果，可重置该参数：

上述样例着重介绍了如何从data.frame对象中去掉不需要的行，但如果我们希望去掉其中部分列又该怎么办呢？

采用SQL方法来处理这个问题非常简单，只需要在SELECT语句中指明需要去掉的列而不使用*符号即可。另外，subset也可以通过改变select参数的值来实现这个功能，可以用向量或R表达式来填写select参数，例如，指明列的范围：

还可以将未加引号的列名作为向量代入函数c实现按给定顺序选择一个随机的列表，或者使用-符号来指定列名。例如，subset(mtcars, select = -c(hp, wt))。

接下来我们将探讨在处理一些大数据集时，如何集中利用前面介绍的筛选方法，以弥补使用基础的R函数不能解决的性能问题。

3.1.1　快速去掉多余数据

在数据集的大小不超过实际物理内存时，R处理的效率最高，有不少R包都针对这样的数据集提供了非常快捷的访问方法。

一些测试平台（参见本书附录）给出了比部分开源（例如MySQL、PostgreSQL和Impala）以及商业数据库（例如HP Vertica）所提供效率更高的R统计函数及其实际应用。

在第1章中我们已经探讨部分相关的开发包，并介绍了从hf?lights包读入相当数量的数据到R会话的过程。

以下样例将展示在该数据集上对大约25万行数据进行处理的过程：

看起来函数base::subset的处理结果比较好，不过我们还能不能再提高处理的效率呢？plyr包的第2代dplyr包（该开发包的相关细节将在本章3.2.3节以及本书第4章进行探讨），为常用数据库操作方法提供速度奇快的C++版本，使用方法更直观：

更进一步地，我们还可以像之前调用subset函数一样，使用该开发包从数据集中去掉一些列。不过，这里将调用select函数而不是传递一个同名参数：

看起来执行的结果更像是调用了f?ilter函数而非subset函数，并且眨眼之间命令就已执行完成！dplyr包可以处理传统的data.frame以及data.table对象，也可以直接与最常用的数据引擎进行交互。需注意的是，行的名称在dplyr包的结果中不予保留，因此如果读者需要用到这些信息，最好在使用dplyr包处理数据之前将它们复制到一个显式变量或如下所示的data.table对象中：

3.1.2　快速去掉多余数据的其他方法

下面我们不使用dplyr包，而是直接利用data.table包自己的方法来解决同样的问题。

data.table包提供了一种基于列自动索引的内存数据结构方法来处理大型数据集，对传统的数据框方法提供向下兼容。

当完成包的装载后，我们需要把hf?lights的传统data.frame对象转换为data.table。再创建一个名为rownames的新列，并将原始数据集的这个新列，通过:=赋值符号，指定到data.table：

我们还需花些时间来熟悉定制的data.table语法，传统的R用户首次接触该开发包时可能有点不习惯，但是从长远来看还是应该了解该开发包。在花费一定时间了解最初的一些样例后，我们能够通过它获得非常好的处理性能，其语法也更符合R的特点。

事实上，data.table的语法和SQL非常类似：

等同如下的SQL语句：

[.data.table（代表应用到data.table对象的操作符）与传统[.data.frame语法相比，使用了不同的参数，如上述样例所示。

此处，我们不会对赋值操作符进行详细探讨，因为作为本书的一个介绍性章节，解释这样一个样例实在太难了，我们还是从比较简单的地方开始着手。因此，更多详细内容请参考本书第4章，或者输入?data.table获得帮助。

因此，?data.table操作符的第一个参数（i）应该代表筛选，或者换句话说，有点像SQL语句中的WHERE子句，而[.data.frame指定了从原始数据集中去掉的行。两个参数间的差别在于前者可以跟任意R表达式，而后者是传统的处理方法，只能跟整数或逻辑值。

无论如何，筛选就和传递一个R表达式到data.table的“[”操作符中参数i一样容易。下面，我们将探讨如何使用data.table语法来选择列，基于上述讨论的通用data.table语法，应该放在第2个参数（j）中完成：

好了，现在我们拥有了包含符合预期的2个列的3481个观测值。此处，函数list被用来定义需要保留的列，尽管在[.data.frame中更常使用的是函数c （a的基本函数，可用于连接向量元素）。函数c也可以应用于[.data.table，但是必须要将变量名作为字符向量传递进去，并且将with参数设置为FALSE。

除了使用list，在plyr包里还可以使用“.”来代替函数名，例如：hf?lights_dt[, .(Dep-Time, ArrTime)]。

现在，我们已经或多或少了解了在一个活动的R会话中筛选数据的操作方法，也学习了dplyr以及data.table包的所有相关语法规则，下面我们将探讨如何使用这些方法来完成数据的聚集和汇总分析。