《R语言数据分析》——2.2 其他流行的在线数据格式-阿里云开发者社区

开发者社区> 华章计算机> 正文

《R语言数据分析》——2.2 其他流行的在线数据格式

简介:
+关注继续查看

本节书摘来自华章出版社《R语言数据分析》一书中的第2章,第2.2节,作者盖尔盖伊·道罗齐(Gergely Daróczi),潘怡 译,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.2 其他流行的在线数据格式

在Web上数据通常采用XML或JSON两种格式存放,因为这两类文件都使用了人类可以理解的数据格式,从程序开发的角度而言也非常容易处理,同时也适合处理任意类型的层次化数据结构,而不像CSV文件一样仅能处理简单的表格数据。

JSON最初源于JavaScript对象标识,是当前应用最为广泛的一种人类可读的数据交换格式。JSON使用属性-值对的形式,能够支持包括数值、字符串、布尔值、有序表以及关联矩阵等多种对象类型,被认为是一种低成本的XML替换语言。在Web应用、服务和API中已经大量地使用了JSON格式。

R支持以JSON格式装载和存储数据,我们将借助Socarata API(更多细节请参考本章2.5节)从前述样例中获取部分数据来证实这一点,这些数据是由消费者金融保护局提供的,相关API的完整文档可从http://www.consumerf?inance.gov/complaintdatabase/technical-documentation获得。

该API的终端是一个不需授权即可访问的URL,我们可通过该URL获得后台数据库的信息:http://data.consumerf?inance.gov/api/views.下图是从浏览器中返回的JSON链表,显示了数据的详细结构:

QQ_20170525110822

鉴于JSON非常容易理解,因此可以在编译之前简单地浏览一下数据格式。下面可以使用rjson包将树状列表导入到R会话中:

QQ_20170525110826
QQ_20170525110829

这和之前我们曾经看见过的用逗号分隔的文件略有不同!再仔细分析一下文档,可以发现API终端返回的是元数据文件而非我们之前在CSV文件中看到的原始表格数据。现在我们在浏览器中打开相关URL来查看前5行中ID为25ei-6bcr的数据内容:

QQ_20170525110833

当然在JSON结果链表中的结构已经发生了变化。下面,让我们将水平链表读入到R中:

QQ_20170525110839

还可以利用诸如视图、列等一些更详细的元数据信息来获取数据,这里面可能有一些我们现在不感兴趣的内容,因为fromJSON返回的是一个list对象。从现在开始,我们可以直接删掉这些元数据,然后仅处理data行:

QQ_20170525110843

此时结果还是一个list对象,可以将它转换为data.frame类型。该list对象拥有5个元素,每个元素包括了19个嵌入的子节点。我们首先观察其中第13个子元素,是一个5-5的向量列表。这意味着树状list对象无法直接转换成表格数据,更不用说我们还发现其中某些向量的值是未经处理的JSON格式。因此,为了简单起见,同时也为了证明我们的观点,现在去掉与地址相关的值,然后将剩下的数据转换成data.frame格式:

QQ_20170525110847

我们应用了一个简单的函数去掉了表中每个元素的地址信息(移除了每个x的第13个元素),然后自动将其简化为matrix(通过使用sapply而非lapply对list中每个元素迭代处理),完成调换(通过t),再将结果强制转换为data.frame。

也可以使用之前介绍的一些方法,通过一些辅助函数而不用手动转换所有list元素。plyr包(请参考本书第3章和第4章获得更多细节)就提供了一些非常有用能够实现数据划分和组合的函数:

QQ_20170525110852

现在结果看起来熟悉一些了吧,尽管省略了变量的名字,而且所有值都被转换为字符向量或因子——尽管日期类型是以UNIX时间戳类型存放的。借助提供的元数据(res$meta),能够非常容易地解决这些难题。例如,可以通过抽取(通过[operator命令)除了已经被删掉的地址信息列13列之外的所有列的名字域:

QQ_20170525110857

也可以借助已经提供的元数据来确定对象的类别。例如,可以从域renderTypeName着手,然后使用as.numeric处理数值型,使用as.POSIXct处理所有的calendar_date,就可以解决之前谈到的绝大部分问题了。

那么,你听过80%的数据分析时间是用在数据预处理过程上这一说法吗?

对JSON和XML进行解析和重构到data.frame对象会占用大量的时间,特别是在处理层次表时尤为突出。包jsonlite试图实现R对象到常规的JSON数据格式之间的转换而非原始处理来节约时间。从实际工作的角度来看,这意味着如果可能的话,从jsonlite::fromJSON就能够得到data.frame结果而不是一堆原始list对象,实现了更好的无缝数据转换。不幸的是,我们并不是总能将list对象转换为表格式,此时,可以通过rlist包来加速list对象的转换。更多实现细节请参考本书第14章。

扩展可标记语言(Extensible Markup Language,XML)最初由万维网联盟于1996开发,一开始是以人类和机器都能读懂的格式存储文档。包括Microsoft Off?ice Open XML,Open/LibreOff?ice OpenDocument在RSS站点信息共享和很多配置文件上都采用了XML格式。XML格式也被广泛用于Internet上的数据交换,特别是某些老式API,更是将XML作为唯一的数据交换格式。

让我们再看看除了JSON以外,我们还能使用其他哪些流行的在线数据交换格式。XML API的使用方法类似JSON,但我们必须要在端URL:http://data.consumerf?inance.gov/api/views.xml指明期望的输出格式,如下图屏幕输出所示:

QQ_20170525110901

如图所示,API的XML输出与之前我们看到的JSON格式不太相同,它的输出仅包含我们感兴趣的行。这样,就能很简单地完成XML文档的分析,并且从中抽取出我们感兴趣的行并将其转换为data.frame:

QQ_20170525110905

可以通过修改传递给xmlToDataFrame函数中参数colClasses的值来手动确定变量的类型,就像在read.table函数里那样做一样,也可以通过一个快速的helper函数来解决这个问题:

QQ_20170525110909

当helper函数返回为TRUE时,就可以验证我们对某个列仅包含数字的猜想,并将其转换为数值类型。请注意我们在将因子类型转换为数字时先要将其转换为字符类型,因为直接将因子转换为数值会返回因子的顺序而不是实际的数值。我们还可以通过type.convert函数来解决这个问题,read.table默认会采用这一方法。

如果希望测试相似的APIs、JSON或XML源,可以尝试Twitter、GitHub上的API或其他任何一个在线服务提供商。另一方面,我们也可以找到其他的基于R的开源服务,能够从任意R代码返回XML、JSON或CSV文件。详细内容请参考:http://www.opencpu.org

现在,我们已经能够基于各种不同类型的数据下载格式完成数据处理,不过鉴于我们还必须掌握一些其他的数据源操作,我建议读者们继续往下接着学习。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
10059
文章
0
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载