【数据通天塔来了】谷歌、Facebook、微软、推特四巨头联手,打通全球数据壁垒!

本文涉及的产品
数据传输服务 DTS,数据同步 small 3个月
推荐场景:
数据库上云
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
数据传输服务 DTS,数据同步 1个月
简介: 今天,谷歌、Facebook、微软和Twitter四大互联网巨头联手宣布了一个“数据传输大计”,旨在号召不同平台间数据的无障碍传输。可移植性和互操作性是云技术创新和竞争的核心,如果真能得以实现,这无疑是一个伟大历程的开端!

【新智元导读】今天,谷歌、Facebook、微软和Twitter四大互联网巨头联手宣布了一个“数据传输大计”,旨在号召不同平台间数据的无障碍传输。可移植性和互操作性是云技术创新和竞争的核心,如果真能得以实现,这无疑是一个伟大历程的开端!

今天,谷歌、Facebook、微软和Twitter联合宣布了一项名为“数据传输计划”(Data Transfer Project)的新标准,旨在打通数据传输壁垒,成为在不同平台之间移动数据的新方式。谷歌表示,该计划允许用户“将数据直接从一个服务传输到另一个服务,无需下载和重新上传。”

该系统的当前版本支持照片、邮件、联系人、日历和任务的数据传输,这些数据从谷歌、微软、Twitter、Flickr、Instagram、Remember The Milk和SmugMug的公开API获取。这类转移很多可以通过其他方式来完成,但是参与者希望这个项目能够成为比传统API更稳健、更灵活的替代方案。微软呼吁更多的公司参与进来,并补充说:“可移植性和互操作性是云技术创新和竞争的核心。”

该项目的现有代码已经GitHub上开源,
地址:https://github.com/google/data-transfer-project

不需要上传和下载,直接在服务器间传输

同时还有一份描述其范围的白皮书。大部分代码库包含“适配器”(adapter),可以将私有API转换为可互操作的传输,比如,使得Instagram的数据可传输至Flickr,反之亦然。在这些适配器之间,工程师们还构建了一个系统来给传输中的数据加密,为每次传输发出前向密钥。值得注意的是,该系统专注于一次性传输,而不是许多API支持的连续互操作性。

“可移植性的未来将需要更具包容性、灵活性和开放性。”白皮书写道。 “我们对这个项目的希望是,它将在任何两个面向公众的产品界面之间建立连接,以便直接导入和导出数据。”

到目前为止,大部分编码都是由谷歌和微软工程师完成的,他们长期以来一直在修改更强大的数据传输系统。根据Google Takeout产品经理Greg Fair的说法,这个想法源于对下载后管理数据的可用选项感到沮丧。如果没有明确的方法将相同的数据导入到不同的服务中,像Takeout这样的工具只能解决问题的一半。

“当人们拥有数据时,他们希望能够将数据从一种产品转移到另一种产品,而他们却不能,”Fair说。 “这是一个我们无法单独解决的问题。”

一个完整的开源应用程序生态系统

大多数平台已经提供了某种数据下载工具,但这些工具很少与其他服务连接。 欧洲新的GDPR法规要求工具提供给定用户的所有可用数据,这意味着它比从API获得的数据更全面。 除了电子邮件或照片,还可以找到许多用户无法收集的位置历史记录和面部识别配置文件等棘手的数据。 有一些项目试图利用这些数据 (如Digi.me) 建立一个完整的应用程序生态系统 。但在大多数情况下,它最终会被放在用户的硬盘上。下载工具作为证明用户确实拥有他们的数据,但是拥有你的数据和使用它已经变成完全不同的事情。

该项目被设想为一个开源标准,许多参与其中的工程师说,如果该标准成功,治理方面的更广泛转变将是必要的。“从长远来看,我们希望有一个由行业领袖、消费者团体和政府团体组成的联盟,”Fair说。“但在我们有一个合理的临界量(critical mass)之前,这不是一个有趣的对话。”

对于数据共享项目来说,这是一个微妙的时刻。Facebook的API曾是剑桥分析公司 (Cambridge Analytica) 丑闻的中心,该行业仍在准确地评估应该向多少用户提供自己的数据。谷歌一直在与自己的API丑闻作斗争,因第三方电子邮件应用程序处理Gmail用户数据不当而受到强烈抗议。在某些方面,拟议中的联盟将是一种管理这种风险的方式,将责任分散给更多的群体。

数据安全与隐私和巨头的数据垄断问题

尽管如此,剑桥Analytica事件的阴影仍然对企业愿意分享的数据量造成了限制。当我向Facebook询问这一工程对数据隐私造成的影响时,后者强调,将API级别数据的控制在公司手中时非常重要的。

“我们总是首先考虑用户数据的保护,”负责Facebook数据下载产品的David Baser说。“API的一个好处是,作为数据提供者,我们能够关闭数据管道,或者对其使用加上限制条件。如果使用数据下载工具,数据就离开了我们的控制,就真的失控了。这时如果有人想将这些数据用于不良目的,Facebook真的无能为力。“

与此同时,科技企业现在面临着比以往更加严重的反垄断问题,这类问题的核心都与数据访问有关。科技巨头们的竞争对手很少。当这些巨头面临关于联邦监管和技术垄断的新问题时,共享数据可能是最难以自控的问题之一。

对于那些因数据隐私丑闻而陷入困境的公司来说,想通过这个项目来补救是不大可能的,不过来自开放技术研究所所长 Kevin Bankston 等外界人士的推动比以往任何时候都更加重要,对Facebook而言尤其如此。“我的主要目标是确保开放的价值不会被遗忘,”Bankston说。“如果你担心这些平台的功能过于强大,那么提高数据的便携性可能是一种平衡的方式。”

编译来源:
https://www.theverge.com/2018/7/20/17589246/data-transfer-project-google-facebook-microsoft-twitter

原文发布时间为:2018-07-21
本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”。
原文链接:【数据通天塔来了】谷歌、Facebook、微软、推特四巨头联手,打通全球数据壁垒!

相关实践学习
部署高可用架构
本场景主要介绍如何使用云服务器ECS、负载均衡SLB、云数据库RDS和数据传输服务产品来部署多可用区高可用架构。
Sqoop 企业级大数据迁移方案实战
Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库(如MySQL,Oracle)导入数据到Hadoop HDFS,并从Hadoop文件系统导出到关系数据库。 本课程主要讲解了Sqoop的设计思想及原理、部署安装及配置、详细具体的使用方法技巧与实操案例、企业级任务管理等。结合日常工作实践,培养解决实际问题的能力。本课程由黑马程序员提供。
相关文章
|
7月前
|
数据采集 机器学习/深度学习 Java
数据猎手:使用Java和Apache HttpComponents库下载Facebook图像
本文介绍了如何使用Java和Apache HttpComponents库从Facebook获取图像数据。通过设置爬虫代理IP以避免限制,利用HttpClient发送请求,解析HTML找到图像链接,然后下载并保存图片。提供的Java代码示例展示了实现过程,包括创建代理配置、线程池,以及下载图片的逻辑。注意,实际应用需根据Facebook页面结构进行调整。
数据猎手:使用Java和Apache HttpComponents库下载Facebook图像
|
机器学习/深度学习 人工智能 算法
50万美元冠军成绩被莫名取消,Facebook热门数据竞赛引争议
Facebook AI 团队今天宣布了首个 Deepfake 检测挑战赛(DFDC)的结果,第一名算法的识别准确率达 82.56%。然而比结果更加耐人寻味的是,原本获得头名的团队成绩被取消了。
221 0
50万美元冠军成绩被莫名取消,Facebook热门数据竞赛引争议
|
机器学习/深度学习 Web App开发 存储
Facebook全球崩溃11小时,暴露了科技巨头们用AI为你打的标签
美国东部时间 7 月 3 日早上 8 点,Facebook 服务器遭遇了大面积停电,这一事件使得全球 Facebook、Instgram 和 WhatsApp 受到影响——除了很难登录,全球范围内很多用户在超过 11 个小时的时间里都无法上传图片和分享故事。
161 0
Facebook全球崩溃11小时,暴露了科技巨头们用AI为你打的标签
|
监控 安全 数据挖掘
苹果封杀谷歌、Facebook:科技巨头涉嫌收集用户隐私数据
在封杀了 Facebook 之后,昨天苹果又宣布关闭谷歌的内部 iOS 应用分发权限。目前测试版本的谷歌地图、环聊(Hangouts)、Gmail 等程序已经无法在苹果手机上运行了,此外那些只对谷歌员工开放的内部应用程序,如用来坐班车的 Gbus 和点餐 app 也已无法使用。
182 0
苹果封杀谷歌、Facebook:科技巨头涉嫌收集用户隐私数据
|
算法 C# iOS开发
巨头出击新闻应用 - Paper by Facebook
我们曾转过一篇关于Facebook正在开发新闻app 的报道,日前其官方正式在苹果App Store放出iOS应用——Paper。
172 0
巨头出击新闻应用 - Paper by Facebook
Facebook“背锅”,第三方公司泄露5.4 亿条Facebook数据
Facebook需要保护第三方抓取数据的安全吗?
461 0
英特尔联手Facebook,称将于下半年推出更通用的AI芯片
这一合作将会催生更加通用的AI芯片的诞生。
296 0
「镁客早报」Facebook再曝数据漏洞;分析师预测谷歌亚马逊明年将推出AirPods竞品
因为一个漏洞,Facebook上有680万用户的私人照片被暴露给不应该看到它们的应用程序。
422 0
|
机器学习/深度学习 算法 决策智能
【重磅开源】Facebook开源 Nevergrad:一种用于无梯度优化的开源工具
【重磅开源】Facebook开源 Nevergrad:一种用于无梯度优化的开源工具
218 0