《R语言数据分析》——2.5 使用R包与数据源API交互

简介:

本节书摘来自华章出版社《R语言数据分析》一书中的第2章,第2.5节,作者盖尔盖伊·道罗齐(Gergely Daróczi),潘怡 译,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.5 使用R包与数据源API交互

尽管我们能够读取HTML表格、CSV文件、JSON和XML数据,甚至某些HTML的原始文档,然后实现数据的存储,但花太多时间用来开发我们自己的工具意义并不大,除非我们再没有其他选择。因此,通常我们应该首先快速了解清楚Web Technologies以及Services CRAN Task View的内容,同时留意R-bloggers,StackOverf?low以及GitHub这些网站,从上面获得任何可能的解决方案,而不是去定制自己的XPath工具和JSON列表。

2.5.1 Socrata的开源数据API

我们现在来展示使用Socrata公司为消费者金融保护局(the Consumer Financial Protection Bureau)提供的开放数据应用程序接口(the Open DataApplication Program Interface),重新实现上述样例:

QQ_20170525114608

事实上,RSocrata包和我们前面的方法一样使用了JSON源(或CSV文件)。请注意警告信息,其显示RSocrata包依赖于另外一个R中的JSON编译包,而不是我们之前使用的那个包,因此某些函数的名称是有冲突的。这时候,最好就是在自动导入RJSONIO包之前先执行detach('package:rjson')操作。

有了RJSONIO包,从指定的URL装载顾客反馈意见数据库就变成了一件非常容易的事情:

QQ_20170525114612

我们可以获取数值型数据,所有的日期也被自动处理成POSIXlt!

类似的,Web Technologies和Services CRAN Task View包含了数百种和自然科学类Web站点进行交互的R包,例如,生态学、遗传学、化学、天气学、金融学、经济学以及市场学等。我们还可以找到用于处理文本数据、文献资源、Web分析数据、新闻以及地图和社会媒体数据类的R包。由于篇幅有限,我们将仅关注那些频繁使用的包。

2.5.2 金融API

Yahoo!财经和Google财经是企业界人士常用的两种开放式数据源标准。使用quantmod包以及前述一些服务提供商,可以非常容易地实现获取诸如股票、金属或者是外币交易价格这样的信息。例如,让我们来看一下以'A'为标记的AgilentTechnologies公司最近的股票价格:

QQ_20170525114617

默认情况下,getSymbols函数会将获得的结果放在指定的parent.frame(通常为全局变量)环境内。如果指定NULL为期望中的环境,则处理结果会被当做一个xts的时间序列对象对待,如样例所示。
而外币交易的比率也可以很容易地抓取出来:

QQ_20170525114625
QQ_20170525114629

getSymbols函数返回的字符串为.GlobalEnv内存放数据的R变量。如果要查看所有可用的数据源,可以使用相关的S3方法查询:

QQ_20170525114635

除了一些离线数据源,我们可以从Google、Yahoo!和OANDA上获得最近的金融信息。如果要查看所有标记的完整列表,可以使用已经装载好的TTR包:

QQ_20170525114638

可以在本书第12章找到更多处理和分析类似数据集的方法。

2.5.3 使用Quandl获取时序数据

Quandl提供了一个支持访问百万级结构相似时序数据的标准模板,该模板实现了一个定制的API,适合大约500个数据源。R的Quandl包对来自全世界各类企业的这些开放数据都能提供简便的访问方式。下面,我们将以U.S.证券交易会发布的Agilent Technologies公司付出的红利数据为例,探讨Quandl包对时序数据的处理过程。首先,我们需要从公司主页上以“Agilent Technologies”为关键词搜索函数Quandl的代码:

QQ_20170525114643

如果没有合法的授权令牌,那么在使用这类API时会存在很多限制,可以通过访问Quandl主页来解决这一问题。当获得授权令牌后,可以用来设置Quandl.auth函数的参数。

Quandl包的功能包括:

以时间为筛选条件过滤数据

在服务器端执行一些对数据的转换操作,例如累积求和以及一阶微分等

对数据排序

确定返回对象的期望类别——例如ts、zoo和xts

下载有关数据源的一些元数据信息

元数据将存放在返回的R对象的attributes属性中,例如,希望统计数据集值的频数信息,可以调用:

QQ_20170525114648

2.5.4 Google文档和统计数据

读者们如果对从Google Docs上下载自己或特定数据更有兴趣,使用RGoogleDocs包就非常合适。该包可以从http://www.omegahat.org/ 的主页上下载,它提供了对谷歌电子表的读写操作授权。

不幸的是,该包的功能有些过时,也使用了一些遭弃用的API函数,因此我们最好找到一些新一点的替换函数,例如googlesheets包,它也支持对谷歌电子表格(不支持其他格式文档)的管理。

我们还可以从R中找到类似能够支持与Google Analytics和Google Adwords进行交互的包,来处理一些分析页面访问量或广告投入效率的问题。

2.5.5 在线搜索的发展趋势

另外,我们也可以调用API下载公共数据。Google提供了对包括World Bank、IMF,以及美国人口普查局等部门的公共数据进行访问的接口,访问地址为http://www.google.com/publicdata/directory。而有关Google自己内部有关搜索趋势的数据可以通过http://google.com/trends访问。

Google内部的数据调用GTrendsR包访问非常简单,不过在CRAN上还不提供下载,不过我们至少也可以以此为例来尝试一下如果通过其他的数据源来安装R的包。GTrendR源码库可以在BitBucket上获取,用devtools包来安装这些源码库非常方便。

为确保读者安装的GTrendR包的版本和我们后面样例中要用的版本一致,你可以指定install_bitbucket函数(或install_github函数)中参数ref的branch、commit以及其他属性的值。请参考本书附录中相关章节的内容。

QQ_20170525114651

可见从BitBucket或GitHub安装R包和确定好源码库的名称以及作者姓名,再使用devtools完成下载和编译一样简单。

Windows系统的用户应该在编译这些开发包之前先从http://cran.r-project.org/bin/windows/Rtools/处下载并按照Rtools包。我们同样激活了quiet模式,以阻止日志汇编和其他无聊的细节。

安装好以后,可以以常规方式载入包:

QQ_20170525114654

首先要通过一个合法的Google用户名和口令完成授权,然后再开始对Google Trends数据库进行查询操作。现在搜索命令将是“how to install R”:

请确保所使用的用户名和口令都是正确的,否则下面的查询将失败。

QQ_20170525114700
QQ_20170525114705

返回的数据集包括了以星期为周期的对R安装操作方法的查询频度。通过数据可知,7月中旬访问量最高,而接下来直到8月初的访问量仅为之前的75%。由此可见,Google并不发布对原始查询数据的统计信息,更多的是一种对不同搜索主题及时间间隔活动的比较研究。

2.5.6 天气历史数据

在R中还为地球学领域的用户提供了数据访问的包。例如,RNCEP包能够从国家环境预测中心(National Centers for Environmental Prediction)下载100多年的天气历史数据,这些数据基本是6小时采集一次。weatherData包提供对的直接访问。在下面的样例中,我们将下载过去七天London的日均温度数据:

QQ_20170525114712

请注意其中不重要的结果都被省略了,获取数据的过程非常直接:通过R的包获取指定URL的数据,这些数据以CSV文件格式存放,然后对数据进行分析处理。如果将opt_detailed设置为TRUE,将返回每天以30分钟为间隔的温度变化。

2.5.7 其他在线数据源

本章篇幅有限,因此不可能讨论完所有类型的在线数据源的处理方法,请参考Web Technologies、Services CRAN Task View、R-bloggers、StackOverf?low以及本书附录部分来了解这些实现了的R包,在读者开始开发自己的数据抓取包时也可以多参考helper函数。

相关文章
|
3月前
|
前端开发 API UED
Python后端与前端交互新纪元:AJAX、Fetch API联手,打造极致用户体验!
Python后端与前端交互新纪元:AJAX、Fetch API联手,打造极致用户体验!
104 2
|
4月前
|
存储 数据采集 数据处理
R语言数据变换:使用tidyr包进行高效数据整形的探索
【8月更文挑战第29天】`tidyr`包为R语言的数据整形提供了强大的工具。通过`pivot_longer()`、`pivot_wider()`、`separate()`和`unite()`等函数,我们可以轻松地将数据从一种格式转换为另一种格式,以满足不同的分析需求。掌握这些函数的使用,将大大提高我们处理和分析数据的效率。
|
5月前
|
开发框架 JSON API
震撼发布!Python Web开发框架下的RESTful API设计全攻略,让数据交互更自由!
【7月更文挑战第22天】在Python Web开发中,设计高效的RESTful API涉及选择框架(如Flask或Django)、明确资源及使用HTTP方法(GET, POST, PUT, DELETE)来操作数据。响应格式通常是JSON,错误处理也很重要。示例展示了使用Flask创建图书管理API,包括版本控制、文档化、安全性和性能优化是最佳实践。这样的API使数据交互更顺畅。
98 2
|
19天前
|
存储 SQL API
探索后端开发:构建高效API与数据库交互
【10月更文挑战第36天】在数字化时代,后端开发是连接用户界面和数据存储的桥梁。本文深入探讨如何设计高效的API以及如何实现API与数据库之间的无缝交互,确保数据的一致性和高性能。我们将从基础概念出发,逐步深入到实战技巧,为读者提供一个清晰的后端开发路线图。
|
23天前
|
前端开发 API 开发者
Python Web开发者必看!AJAX、Fetch API实战技巧,让前后端交互如丝般顺滑!
在Web开发中,前后端的高效交互是提升用户体验的关键。本文通过一个基于Flask框架的博客系统实战案例,详细介绍了如何使用AJAX和Fetch API实现不刷新页面查看评论的功能。从后端路由设置到前端请求处理,全面展示了这两种技术的应用技巧,帮助Python Web开发者提升项目质量和开发效率。
39 1
|
2月前
|
数据挖掘 C语言 C++
R语言是一种强大的统计分析工具,提供了丰富的函数和包用于时间序列分析。
【10月更文挑战第21天】时间序列分析是一种重要的数据分析方法,广泛应用于经济学、金融学、气象学、生态学等领域。R语言是一种强大的统计分析工具,提供了丰富的函数和包用于时间序列分析。本文将介绍使用R语言进行时间序列分析的基本概念、方法和实例,帮助读者掌握R语言在时间序列分析中的应用。
46 3
|
2月前
|
机器学习/深度学习 并行计算 数据挖掘
R语言是一种强大的统计分析工具,广泛应用于数据分析和机器学习领域
【10月更文挑战第21天】R语言是一种强大的统计分析工具,广泛应用于数据分析和机器学习领域。本文将介绍R语言中的一些高级编程技巧,包括函数式编程、向量化运算、字符串处理、循环和条件语句、异常处理和性能优化等方面,以帮助读者更好地掌握R语言的编程技巧,提高数据分析的效率。
46 2
|
2月前
|
数据采集 数据可视化 数据挖掘
R语言与Python:比较两种数据分析工具
R语言和Python是目前最流行的两种数据分析工具。本文将对这两种工具进行比较,包括它们的历史、特点、应用场景、社区支持、学习资源、性能等方面,以帮助读者更好地了解和选择适合自己的数据分析工具。
34 2
|
2月前
|
中间件 Go API
使用Go语言构建高性能RESTful API
在现代软件开发中,RESTful API因其简洁和高效而成为构建网络服务的首选。Go语言以其并发处理能力和高性能著称,是开发RESTful API的理想选择。本文将介绍如何使用Go语言构建RESTful API,包括基础的路由设置、中间件的使用、数据验证、错误处理以及性能优化。通过实际代码示例,我们将展示Go语言在API开发中的强大功能和灵活性。
|
2月前
|
JavaScript 前端开发 Java
多种语言请求API接口方法
每种语言和库的选择取决于具体需求、项目环境以及个人偏好。了解这些基本方法,开发者就可以根据项目需求选择合适的语言和库来高效地与API交互。
39 1

热门文章

最新文章