《R语言数据分析》——2.2 其他流行的在线数据格式

简介:

本节书摘来自华章出版社《R语言数据分析》一书中的第2章,第2.2节,作者盖尔盖伊·道罗齐(Gergely Daróczi),潘怡 译,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.2 其他流行的在线数据格式

在Web上数据通常采用XML或JSON两种格式存放,因为这两类文件都使用了人类可以理解的数据格式,从程序开发的角度而言也非常容易处理,同时也适合处理任意类型的层次化数据结构,而不像CSV文件一样仅能处理简单的表格数据。

JSON最初源于JavaScript对象标识,是当前应用最为广泛的一种人类可读的数据交换格式。JSON使用属性-值对的形式,能够支持包括数值、字符串、布尔值、有序表以及关联矩阵等多种对象类型,被认为是一种低成本的XML替换语言。在Web应用、服务和API中已经大量地使用了JSON格式。

R支持以JSON格式装载和存储数据,我们将借助Socarata API(更多细节请参考本章2.5节)从前述样例中获取部分数据来证实这一点,这些数据是由消费者金融保护局提供的,相关API的完整文档可从http://www.consumerf?inance.gov/complaintdatabase/technical-documentation获得。

该API的终端是一个不需授权即可访问的URL,我们可通过该URL获得后台数据库的信息:http://data.consumerf?inance.gov/api/views.下图是从浏览器中返回的JSON链表,显示了数据的详细结构:

QQ_20170525110822

鉴于JSON非常容易理解,因此可以在编译之前简单地浏览一下数据格式。下面可以使用rjson包将树状列表导入到R会话中:

QQ_20170525110826
QQ_20170525110829

这和之前我们曾经看见过的用逗号分隔的文件略有不同!再仔细分析一下文档,可以发现API终端返回的是元数据文件而非我们之前在CSV文件中看到的原始表格数据。现在我们在浏览器中打开相关URL来查看前5行中ID为25ei-6bcr的数据内容:

QQ_20170525110833

当然在JSON结果链表中的结构已经发生了变化。下面,让我们将水平链表读入到R中:

QQ_20170525110839

还可以利用诸如视图、列等一些更详细的元数据信息来获取数据,这里面可能有一些我们现在不感兴趣的内容,因为fromJSON返回的是一个list对象。从现在开始,我们可以直接删掉这些元数据,然后仅处理data行:

QQ_20170525110843

此时结果还是一个list对象,可以将它转换为data.frame类型。该list对象拥有5个元素,每个元素包括了19个嵌入的子节点。我们首先观察其中第13个子元素,是一个5-5的向量列表。这意味着树状list对象无法直接转换成表格数据,更不用说我们还发现其中某些向量的值是未经处理的JSON格式。因此,为了简单起见,同时也为了证明我们的观点,现在去掉与地址相关的值,然后将剩下的数据转换成data.frame格式:

QQ_20170525110847

我们应用了一个简单的函数去掉了表中每个元素的地址信息(移除了每个x的第13个元素),然后自动将其简化为matrix(通过使用sapply而非lapply对list中每个元素迭代处理),完成调换(通过t),再将结果强制转换为data.frame。

也可以使用之前介绍的一些方法,通过一些辅助函数而不用手动转换所有list元素。plyr包(请参考本书第3章和第4章获得更多细节)就提供了一些非常有用能够实现数据划分和组合的函数:

QQ_20170525110852

现在结果看起来熟悉一些了吧,尽管省略了变量的名字,而且所有值都被转换为字符向量或因子——尽管日期类型是以UNIX时间戳类型存放的。借助提供的元数据(res$meta),能够非常容易地解决这些难题。例如,可以通过抽取(通过[operator命令)除了已经被删掉的地址信息列13列之外的所有列的名字域:

QQ_20170525110857

也可以借助已经提供的元数据来确定对象的类别。例如,可以从域renderTypeName着手,然后使用as.numeric处理数值型,使用as.POSIXct处理所有的calendar_date,就可以解决之前谈到的绝大部分问题了。

那么,你听过80%的数据分析时间是用在数据预处理过程上这一说法吗?

对JSON和XML进行解析和重构到data.frame对象会占用大量的时间,特别是在处理层次表时尤为突出。包jsonlite试图实现R对象到常规的JSON数据格式之间的转换而非原始处理来节约时间。从实际工作的角度来看,这意味着如果可能的话,从jsonlite::fromJSON就能够得到data.frame结果而不是一堆原始list对象,实现了更好的无缝数据转换。不幸的是,我们并不是总能将list对象转换为表格式,此时,可以通过rlist包来加速list对象的转换。更多实现细节请参考本书第14章。

扩展可标记语言(Extensible Markup Language,XML)最初由万维网联盟于1996开发,一开始是以人类和机器都能读懂的格式存储文档。包括Microsoft Off?ice Open XML,Open/LibreOff?ice OpenDocument在RSS站点信息共享和很多配置文件上都采用了XML格式。XML格式也被广泛用于Internet上的数据交换,特别是某些老式API,更是将XML作为唯一的数据交换格式。

让我们再看看除了JSON以外,我们还能使用其他哪些流行的在线数据交换格式。XML API的使用方法类似JSON,但我们必须要在端URL:http://data.consumerf?inance.gov/api/views.xml指明期望的输出格式,如下图屏幕输出所示:

QQ_20170525110901

如图所示,API的XML输出与之前我们看到的JSON格式不太相同,它的输出仅包含我们感兴趣的行。这样,就能很简单地完成XML文档的分析,并且从中抽取出我们感兴趣的行并将其转换为data.frame:

QQ_20170525110905

可以通过修改传递给xmlToDataFrame函数中参数colClasses的值来手动确定变量的类型,就像在read.table函数里那样做一样,也可以通过一个快速的helper函数来解决这个问题:

QQ_20170525110909

当helper函数返回为TRUE时,就可以验证我们对某个列仅包含数字的猜想,并将其转换为数值类型。请注意我们在将因子类型转换为数字时先要将其转换为字符类型,因为直接将因子转换为数值会返回因子的顺序而不是实际的数值。我们还可以通过type.convert函数来解决这个问题,read.table默认会采用这一方法。

如果希望测试相似的APIs、JSON或XML源,可以尝试Twitter、GitHub上的API或其他任何一个在线服务提供商。另一方面,我们也可以找到其他的基于R的开源服务,能够从任意R代码返回XML、JSON或CSV文件。详细内容请参考:http://www.opencpu.org

现在,我们已经能够基于各种不同类型的数据下载格式完成数据处理,不过鉴于我们还必须掌握一些其他的数据源操作,我建议读者们继续往下接着学习。

相关文章
|
6月前
|
机器学习/深度学习 数据采集 数据可视化
R语言 一种功能强大的数据分析、统计建模 可视化 免费、开源且跨平台 的编程语言
R语言 一种功能强大的数据分析、统计建模 可视化 免费、开源且跨平台 的编程语言
132 1
|
2月前
|
算法 数据挖掘
R语言——AVOCADO“(异常植被变化检测)算法(1990-2015数据分析)监测森林干扰和再生(含GEE影像下载代码)
R语言——AVOCADO“(异常植被变化检测)算法(1990-2015数据分析)监测森林干扰和再生(含GEE影像下载代码)
41 1
|
1月前
|
机器学习/深度学习 数据可视化 算法
从零到精通:学习这些R语言必学包成为数据分析高手!
从零到精通:学习这些R语言必学包成为数据分析高手!
38 0
|
5月前
|
数据挖掘
r语言数据分析画数据相关性图热力图
r语言数据分析画数据相关性图热力图
99 1
|
8月前
|
人工智能 数据挖掘 Linux
ChatGPT × R语言 丨实际数据分析过程中,AI能够带来哪些改变?数据框操作案例分享
ChatGPT × R语言 丨实际数据分析过程中,AI能够带来哪些改变?数据框操作案例分享
|
8月前
|
数据采集 机器学习/深度学习 SQL
绝不可错过!R语言与ggplot2实现SCI论文数据分析神器
绝不可错过!R语言与ggplot2实现SCI论文数据分析神器
138 0
|
10月前
|
数据采集 XML 存储
Perl语言的特点和数据分析示例
与Python相比,Perl有以下区别: ● Perl更注重灵活性和表达力,Python更注重简洁性和一致性。 ● Perl更适合处理文本和正则表达式,Python更适合处理数据结构和算法。 ● Perl有多种方法可以实现同一个功能,Python有一种最佳实践(The Zen of Python)。 ● Perl使用分号和花括号来结束语句和定义代码块,Python使用缩进来组织代码结构。 下面用Perl写一个爬虫程序,采集https://weibo.com的TOP10热搜
128 0
Perl语言的特点和数据分析示例
|
10月前
|
数据采集 机器学习/深度学习 数据可视化
R语言进行股票数据分析
R语言是网页抓取和数据分析的强大工具。使用R,可以编写爬虫从各种网站提取股票信息,如价格、数量、股息、收益等。然后,可以使用R的内置函数和包来执行各种数据分析任务,例如描述性的统计、可视化、回归、聚类、情绪分析等。R语言可以帮助投资者洞察股市并做出明智的决策。
144 0
|
11月前
|
机器学习/深度学习 数据可视化 数据挖掘
跟着Nature Communications学数据分析:R语言做随机森林模型并对变量重要性排序
跟着Nature Communications学数据分析:R语言做随机森林模型并对变量重要性排序
|
数据可视化 数据挖掘 数据处理

热门文章

最新文章