它通过分析谷歌搜索引擎每天数十亿的搜索数据,告诉用户某一关键词或者话题各个时期下在谷歌搜索引擎中展示的频率及其相关统计数据。
我们为一位客户进行了短暂的咨询工作,他正在构建一个主要基于谷歌搜索词热度和外卖的分析应用程序。
数据准备
我们需要来检验英国下雨量和人们在谷歌上搜索外卖词汇是否有关联。
总共有六个文件,其中三个是英国降雨量,分别是英格兰+威尔士,苏格兰,和北爱尔兰。这三个文件是txt格式的,里面是日数据。
还有三个数据是google检索量,分别是搜索food takeaway, just eat,和domino’s pizza的,是csv格式的,然后是周数据。
数据预处理
我们先把三个降雨量的数据总和,得出整个英国的每日降雨量
EnglandEngland=read.table("rainfall (England+Wales).txt",skip=3) scotland=read.table("rainfall(scotland).txt",skip=3) northern_Ireland=read.table("rainfall(northern Ireland).txt",skip=3) head(pizza)
然后再删减到和使用的google检索量数据一样,并且也变成周数据,最后整合在一起。
sum= EnglandEngland[,-c(1:2)]+scotland[,-c(1:2)]+northern_Ireland[,-c(1:2)] #合并年月 sum=cbind(EnglandEngland
变成类似这样的在Rstudio里
j=1 for(i in week){ yearstart=as.numeric(strsplit(as.character(i),"-")[[1]][1]) if(rowstart==rowend)weeksum[j]= sum( sum[rowstart,(daystart+2):(dayend+2)]) else weeksum[j]= sum( sum[rowstart,(daystart+2):33])+sum( sum[rowend,3:(dayend+2) ])
rainfall | Food takeaway | Just eat | Domino’spizza | |
2011-01-02-2011-01-08 | ||||
2011-01-09-2011-01-15 | ||||
……… |
点击标题查阅往期内容
【视频】Python用LSTM长短期记忆神经网络对不稳定降雨量时间序列进行预测分析|数据分享
01
02
03
04
Pearson's相关性检验
在统计学中,皮尔逊相关系数,是用于度量两个变量X和Y之间的相关(线性相关),其值介于-1与1之间,其绝对值越大说明该两个变量越相关。
然后分别检验每个和降雨量的联系,用correlation coefficient的方法,得出来3个统计结果。
首先看Y与X是否有显著关系,即P值大小,接着分析相关关系为正向或负向,也可通过相关系数大小说明关系紧密程度。一般相关系数在0.7以上说明关系非常紧密。p<0.05,因而说明外卖搜索热度和降雨量之间有着较显著的正相关关系。达美乐披萨搜索热度和降雨量之间没有显著的正相关关系。
搜索可视化
最后做一张图,纵坐标是降雨量,横坐标是搜索量,三个检索量分别用三个颜色表示。
library(ggplot2) ggplot(cordata, aes(weeksum)) + geom_line(aes(y = domino.s.pizza, colour =