《机器学习与数据科学(基于R的统计学习方法)》——2.13 从谷歌分析中读取数据

简介:

本节书摘来异步社区《机器学习与数据科学(基于R的统计学习方法)》一书中的第2章,第2.13节,作者:【美】Daniel D. Gutierrez(古铁雷斯),更多章节内容可以访问云栖社区“异步社区”公众号查看。

2.13 从谷歌分析中读取数据

另一个非常有用的数据源是谷歌分析。很多公司使用谷歌的网站统计服务来观察网站的使用情况。谷歌分析的成熟程度是令人惊讶的,其中最大的优点是:这项服务是免费使用的。一旦植入到网站中(使用谷歌提供的一个可以添加到网站中的代码片段),就能收集大量数据,用于后续分析。虽然谷歌提供了一套令人印象深刻的工具来分析网站统计数据,你也可以直接连接数据,这样就能用这些数据执行自己定制的机器学习算法。在本节中,我们会介绍如何连接谷歌分析数据。

有两种方法连接谷歌分析数据。第一,你可以使用你用来跟踪网站的账户来登录谷歌分析。你运行的每一份报表都有一个Export按钮,可以用来下载报告中的原始数据。我们的想法是,用一段长时间范围的数据运行得到一份详细的报表,这样你就能得到一份优良的数据样本,可用于后续的机器学习分析。我们将在下面的案例中看到这样的示例。连接谷歌分析的另一种方法是使用RGoogleAnalytics包,其中包含了大量R函数,能帮助你使用谷歌分析Data Export API。我们也能在下面的例子中看见这种用法。

让我们首先用导出工具连接谷歌分析数据。在这个例子中,我用一个监控客户端网站的账号登录谷歌分析。我通过Traffic Sources -> Sources -> All Traffic这一路径选择一种标准报表。在查看了报表之后,我从顶端的水平菜单选择Export -> Excel(XLSX),将文件保存在工作目录下面的data文件夹中。谷歌分析生成的Excel文件有多个工作表,通常有一个Summary表和一个或多个Datasheets表。取决于你想用数据做什么事情,你必须决定把哪个表读入R中。谷歌分析使用的一些列名和xlsx包不兼容,所以你需要在Excel中打开文件,手动编辑一个或者多个可能造成冲突的列名。例如,你需要把列名Pages/Visit改成更适合R的表述,例如Pages_Visit。图2-4展示了一个准备读入到R中使用的表格:

> library(xlsx)
> GA <- read.xlsx2("./data/Analytics_All_Traffic.xlsx", sheetIndex=2)
> head(GA)
      Source_Medium Visits    Pages_Visit Avg_Visit_Duration
1    google / organic 1349.0 5.638991845811712 151.54558932542625
2    (direct) / (none) 562.0 4.119217081850533 114.98220640569394
3 fashiondistrict.org / referral 242.0 3.9214876033057853   
140. 30578512396696
4     yahoo / organic  73.0 3.6301369863013697 66.53424657534246
5     bing / organic  71.0 5.549295774647887 104.14084507042253
6    oohlaluxe.net / referral  36.0 4.361111111111111  
 116. 80555555555556
   Percent_New_Visits     Bounce_Rate
1  0.614529280948851      0.5181616011860638
2  0.597864768683274      0.5747330960854092
3  0.8099173553719008     0.45041322314049587
4  0.684931506849315      0.410958904109589
5  0.647887323943662      0.29577464788732394
6  0.8888888888888888     0.3611111111111111```
现在让我们看看使用RGoogleAnalytics包中的RGoogleAnalytics API。在R中,你需要用OAuth2例行程序来认证你的身份,创建一个查询,并把结果保存在数据框中。在开始之前,RGoogleAnalytics库依赖于另外两个库:RCurl提供了在R中的https支持;RJSON提供了解析API返回的RJSON的功能。
<div style="text-align: center"><img src="https://yqfile.alicdn.com/6f72af38069089feea74ee263927c385c8332c74.png" width="" height="">
</div>

install.packages("RCurl")
install.packages("RJSON")
library("RGoogleAnalytics")`
使用下面这段语句能打开一个浏览器窗口,这样就可以用谷歌的OAuth2认证身份。参照页面上的指示,将Access Token复制到剪贴板中,然后将它粘贴到R控制台中。

> query <- QueryBuilder()
> access_token <- query$authorize()```
接下来,这段语句会使用你上面得到的access_token来创建一个新的谷歌分析API对象。

ga <- RGoogleAnalytics()
ga.profiles <- ga$GetProfileData(access_token)
ga.profiles # List the GA profiles`

下面这段代码是将谷歌分析作为数据源读取过程的主要部分。你建立了一个查询字符串,并使用配置文件设置其索引值。

> query$Init(start.date = "2013-07-01",
      end.date = "2013-07-01",
      dimensions = "ga:date,ga:pagePath",
      metrics = "ga:visits,ga:pageviews,ga:timeOnPage",
      sort = "ga:visits",
      #filters="",
      #segment="",
      max.results = 99,
      table.id =
       paste("ga:",ga.profiles$id[1],sep="",collapse=","),
       access_token=access_token)

> ga.data <- ga$GetReportData(query)
[1] "Your query matched 88 results that are stored to dataframe ga.data"
> head(ga.data)
#  date     pagePath
1  20130701 /SearchResult.asp?Type=ALL&String=&CompanyID= 127&CategoryID=0
2  20130701 /SearchResult.asp?Type=ALL&String=&CompanyID= 130&CategoryID=0
3  20130701 /SearchResult.asp?Type=ALL&String=&CompanyID= 175&CategoryID=0
4  20130701 /SearchResult.asp?Type=ALL&String=&CompanyID= 181&CategoryID=0
5  20130701 /SearchResult.asp?Type=ALL&String=&CompanyID= 184&CategoryID=0
6  20130701 /SearchResult.asp?Type=ALL&String=&CompanyID= 186&CategoryID=0

    visits   pageviews   timeOnPage
1   0        3           11
2   0        4           20
3   0        2           13
4   0        1           1
5   0        2           11
相关文章
|
19天前
|
机器学习/深度学习 存储 设计模式
特征时序化建模:基于特征缓慢变化维度历史追踪的机器学习模型性能优化方法
本文探讨了数据基础设施设计中常见的一个问题:数据仓库或数据湖仓中的表格缺乏构建高性能机器学习模型所需的历史记录,导致模型性能受限。为解决这一问题,文章介绍了缓慢变化维度(SCD)技术,特别是Type II类型的应用。通过SCD,可以有效追踪维度表的历史变更,确保模型训练数据包含完整的时序信息,从而提升预测准确性。文章还从数据工程师、数据科学家和产品经理的不同视角提供了实施建议,强调历史数据追踪对提升模型性能和业务洞察的重要性,并建议采用渐进式策略逐步引入SCD设计模式。
39 8
特征时序化建模:基于特征缓慢变化维度历史追踪的机器学习模型性能优化方法
|
12天前
|
机器学习/深度学习 数据采集 JSON
Pandas数据应用:机器学习预处理
本文介绍如何使用Pandas进行机器学习数据预处理,涵盖数据加载、缺失值处理、类型转换、标准化与归一化及分类变量编码等内容。常见问题包括文件路径错误、编码不正确、数据类型不符、缺失值处理不当等。通过代码案例详细解释每一步骤,并提供解决方案,确保数据质量,提升模型性能。
133 88
|
2月前
|
机器学习/深度学习 算法 数据挖掘
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构。本文介绍了K-means算法的基本原理,包括初始化、数据点分配与簇中心更新等步骤,以及如何在Python中实现该算法,最后讨论了其优缺点及应用场景。
165 4
|
17天前
|
机器学习/深度学习 数据采集 算法
机器学习在生物信息学中的创新应用:解锁生物数据的奥秘
机器学习在生物信息学中的创新应用:解锁生物数据的奥秘
141 36
|
22天前
|
机器学习/深度学习 人工智能 算法
机器学习算法的优化与改进:提升模型性能的策略与方法
机器学习算法的优化与改进:提升模型性能的策略与方法
139 13
机器学习算法的优化与改进:提升模型性能的策略与方法
|
23天前
|
机器学习/深度学习 人工智能
Diff-Instruct:指导任意生成模型训练的通用框架,无需额外训练数据即可提升生成质量
Diff-Instruct 是一种从预训练扩散模型中迁移知识的通用框架,通过最小化积分Kullback-Leibler散度,指导其他生成模型的训练,提升生成性能。
50 11
Diff-Instruct:指导任意生成模型训练的通用框架,无需额外训练数据即可提升生成质量
|
3月前
|
机器学习/深度学习 测试技术
阿里云入选Gartner数据科学和机器学习平台挑战者象限
Gartner® 正式发布了《数据科学与机器学习平台魔力象限》报告(Magic Quadrant™ for Data Science and Machine Learning Platforms),阿里云成为唯一一家入选该报告的中国厂商,被评为“挑战者”(Challengers)。
|
18天前
|
人工智能 Kubernetes Cloud Native
跨越鸿沟:PAI-DSW 支持动态数据挂载新体验
本文讲述了如何在 PAI-DSW 中集成和利用 Fluid 框架,以及通过动态挂载技术实现 OSS 等存储介质上数据集的快速接入和管理。通过案例演示,进一步展示了动态挂载功能的实际应用效果和优势。
|
1月前
|
机器学习/深度学习 传感器 运维
使用机器学习技术进行时间序列缺失数据填充:基础方法与入门案例
本文探讨了时间序列分析中数据缺失的问题,并通过实际案例展示了如何利用机器学习技术进行缺失值补充。文章构建了一个模拟的能源生产数据集,采用线性回归和决策树回归两种方法进行缺失值补充,并从统计特征、自相关性、趋势和季节性等多个维度进行了详细评估。结果显示,决策树方法在处理复杂非线性模式和保持数据局部特征方面表现更佳,而线性回归方法则适用于简单的线性趋势数据。文章最后总结了两种方法的优劣,并给出了实际应用建议。
89 7
使用机器学习技术进行时间序列缺失数据填充:基础方法与入门案例
|
1月前
|
机器学习/深度学习 数据可视化 大数据
机器学习与大数据分析的结合:智能决策的新引擎
机器学习与大数据分析的结合:智能决策的新引擎
172 15

热门文章

最新文章