谷歌 BigQuery 现允许查询所有 GitHub 开源项目

简介:

谷歌和GitHub宣布,谷歌BigQuery现在为GitHub上280多万个托管开源项目提供了一个完整的快照。这让用户可以使用SQL查询托管在GitHub上的将近20亿个开源文件。

GitHub的BigQuery数据集以GitHub Archive项目为基础,该项目旨在获取GitHub特定时点的快照,以便存储用来进行进一步的分析。借助GitHub的BigQuery数据集,现在随时可以通过任意类似SQL的查询查询GitHub Archive项目的内容。

GitHub开源项目经理Arfon Smith举了一个例子,新的BigQuery数据集可以用来找出哪个Go程序包最常用,或者哪一所美国学校的开源贡献者最多。他还指出,总体上,该数据集还有利于研究人员研究开源社区或者最新的开发趋势。

谷歌开发大使Felipe Hoffa另外添加了几个有关潜在用途的示例,比如找出使用给定开源库的每个项目,或者分析其使用方式,以便收集有用的数据,确定那个库的未来发展方向。

在Medium上发表的一篇博文中,Hoffa列出了一些由谷歌工程师及其他开发人员创建的查询。这些查询可以用来分析Go程序,找出最常用的Java导入、最常用的angular指令以及最常用的emacs程序包。

GitHub的BigQuery数据集包含大约1.5TB的数据,每小时自动更新。下面是基本的使用步骤:

登录谷歌开发者控制台;

创建一个项目;

激活BigQuery API;

打开GitHub公共数据集并执行查询。

谷歌每月免费提供1TB的数据处理,但是,正如谷歌开发大使给我们的提醒,在主数据集(bigquery-public-data:github_repos.contents)上执行一个查询就会用完这1TB的免费数据。因此,他建议使用23GB的官方摘录数据(bigquery-public-data:github_repos.sample_contents)或者谷歌提供的任意专注于流行语言的摘录数据,诸如Go、Ruby、JavaScript、PHP、Python和Java。BigQuery还可以用来创建自定义数据集,但在这种情况下,用户需要支付存储费用。

谷歌BigQuery公共数据集是谷歌根据一项特别计划通过BigQuery提供的一系列数据集,用户只需要为他们执行的查询付费,但不用为数据集存储付费。谷歌BigQuery公共数据集提供的其他数据集包括美国人名、Hacker News自2006年以来的故事和评论、1029年和2016年之间的全球气候数据,等等。

文章转载自 开源中国社区[http://www.oschina.net]

相关文章
|
6月前
|
人工智能 自然语言处理 iOS开发
『GitHub项目圈选19』推荐5款本周 让人爱不释手 的开源项目
『GitHub项目圈选19』推荐5款本周 让人爱不释手 的开源项目
202 2
|
6月前
|
人工智能 自然语言处理 NoSQL
『GitHub项目圈选13』推荐5款本周 让人爱不释手 的开源项目
『GitHub项目圈选13』推荐5款本周 让人爱不释手 的开源项目
171 2
|
6月前
|
存储 Web App开发 人工智能
『GitHub项目圈选18』推荐5款本周 超实用 的开源项目
『GitHub项目圈选18』推荐5款本周 超实用 的开源项目
559 1
|
6月前
|
人工智能 物联网 机器人
『GitHub项目圈选17』推荐5款本周 火火火 的AI开源项目
『GitHub项目圈选17』推荐5款本周 火火火 的AI开源项目
1493 1
|
6月前
|
JSON 搜索推荐 程序员
『GitHub项目圈选15』推荐5款本周 深受程序员喜爱 的开源项目
『GitHub项目圈选15』推荐5款本周 深受程序员喜爱 的开源项目
161 1
|
6月前
|
SQL NoSQL Linux
『GitHub项目圈选11』推荐5款本周 深受开发人员青睐 的开源项目
『GitHub项目圈选11』推荐5款本周 深受开发人员青睐 的开源项目
127 1
|
6月前
|
人工智能 Java Linux
『GitHub项目圈选09』推荐5款本周大佬都在用的开源项目
『GitHub项目圈选09』推荐5款本周大佬都在用的开源项目
134 1
|
6月前
|
安全 机器人 API
『GitHub项目圈选08』推荐5款本周使用率超高的开源项目
『GitHub项目圈选08』推荐5款本周使用率超高的开源项目
112 1
|
6月前
|
Java Spring
GitHub 上搜索开源项目技巧
GitHub 上搜索开源项目技巧
81 0
|
6月前
|
存储 人工智能 API
『GitHub项目圈选10』推荐5款本周 实用给力 的开源项目
『GitHub项目圈选10』推荐5款本周 实用给力 的开源项目
116 0
下一篇
无影云桌面