Google停用MapReduce,高调发布Cloud Dataflow

简介:

Google已经停用自己研发的,部署在服务器上,用以分析数据的MapReduce,转而支持一个新的超大规模云分析系统Cloud Dataflow。

MapReduce一直是服务器集群上做并行分布式计算的一个非常受欢迎的基础架构和编程模型。它是被广泛部署并已经成为很多公司商业产品的大数据基础架构平台Hadoop的基础。 

但是近日,这项技术已经不能处理谷歌想要分析的大量数据。技术基础设施部高级副总裁UrsHölzle表示,一旦数据规模达到数PB级字节,处理起来将变得非常困难。 

我们已经不再使用MapReduce。”Hölzle在周三于旧金山举行的谷歌I/O大会上发表主题演讲时表示,公司已经在几年前停止使用这个系统。

Cloud DataFlow,将作为一项服务提供给使用它们云服务的开发者,这些服务并没有MapReduce的扩展限制。 

Cloud Dataflow是这近十年分析经验的成果。”Hölzle说,它将会比现存的所有的系统运行的更快,更易扩展。 

“这是一个完全托管服务,它可以自动优化、部署、管理以及扩展。它使开发人员对批处理和流媒体服务能够使用统一编程轻松地创建复杂的管道。“他表示。

所有这些特点,谷歌认为在MapReduce上无法完成:很难迅速获取数据,不能进行批处理和流处理,而且经常需要部署和运行MapReduce集群。

Hölzle在展示会上也宣布谷歌云平台上其他一些新的服务:

  • Cloud Save是一个API,它使应用程序能够在云中或其他地方保存单个用户的数据而不需要任何服务器端的编码。提供App Engine的PaaS用户和提供Compute Engine的用户都可以利用这特征构建App。

  • Cloud Debugging简化了筛选出部署在云端的多台服务器中的软件缺陷的过程。

  • Cloud Tracing提供了不同群体(数据库服务调用,例如等待时间)的延时统计数据以及分析报告。

  • Cloud Monitoring是一款与Stackdriver(谷歌5月份收购的一个云监控初创公司)集成的智能监控系统。该系统监控云基础设施资源,如磁盘和虚拟机,还有一些为谷歌提供服务的服务等级以及十几个非谷歌提供的开源软件包。


原文发布时间为:2014-06-30

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

相关文章
|
6月前
|
存储 人工智能 大数据
云计算平台:AWS、Azure和Google Cloud的比较与选择
在当今数字化时代,云计算平台成为了企业和个人的首选。本文将重点比较三大主流云计算平台:AWS、Azure和Google Cloud,从性能、功能、可用性以及定价等方面进行综合评估,帮助读者更好地选择适合自己需求的云计算平台。
|
6月前
|
机器学习/深度学习 存储 人工智能
云计算平台选择之路:AWS、Azure和Google Cloud的比较与抉择
在当今数字化时代,云计算平台扮演着企业转型和创新的关键角色。本文将对三大主流云计算平台——AWS、Azure和Google Cloud进行比较分析,为读者提供选择指南。我们将从性能、可靠性、生态系统、服务和定价等方面综合评估,以帮助读者做出最适合他们业务需求的决策。
686 0
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
解密Google Cloud 全新 PaLM2及创新应用
这篇文章深入解析了Google Cloud推出的PaLM2大语言模型的特点及其在不同行业中的创新应用。
|
2月前
|
SQL 监控 大数据
通过Google Dataflow,我们能够构建一个高效、可扩展且易于维护的实时数据处理系统
【9月更文挑战第7天】随着大数据时代的到来,企业对高效数据处理的需求日益增加,特别是在实时分析和事件驱动应用中。Google Dataflow作为Google Cloud Platform的一项服务,凭借其灵活、可扩展的特点,成为实时大数据处理的首选。本文将介绍Dataflow的基本概念、优势,并通过一个电商日志分析的实际案例和示例代码,展示如何构建高效的数据处理管道。Dataflow不仅支持自动扩展和高可用性,还提供了多种编程语言支持和与GCP其他服务的紧密集成,简化了整个数据处理流程。通过Dataflow,企业可以快速响应业务需求,优化用户体验。
70 3
|
3月前
|
SQL 监控 大数据
"解锁实时大数据处理新境界:Google Dataflow——构建高效、可扩展的实时数据管道实践"
【8月更文挑战第10天】随着大数据时代的发展,企业急需高效处理数据以实现即时响应。Google Dataflow作为Google Cloud Platform的强大服务,提供了一个完全托管的流处理与批处理方案。它采用Apache Beam编程模型,支持自动扩展、高可用性,并能与GCP服务无缝集成。例如,电商平台可通过Dataflow实时分析用户行为日志:首先利用Pub/Sub收集数据;接着构建管道处理并分析这些日志;最后将结果输出至BigQuery。Dataflow因此成为构建实时数据处理系统的理想选择,助力企业快速响应业务需求。
194 6
|
3月前
|
开发者 监控 开发工具
如何将JSF应用送上云端?揭秘在Google Cloud Platform上部署JSF应用的神秘步骤
【8月更文挑战第31天】本文详细介绍如何在Google Cloud Platform (GCP) 上部署JavaServer Faces (JSF) 应用。首先,确保已准备好JSF应用并通过Maven构建WAR包。接着,使用Google Cloud SDK登录并配置GCP环境。然后,创建`app.yaml`文件以配置Google App Engine,并使用`gcloud app deploy`命令完成部署。最后,通过`gcloud app browse`访问应用,并利用GCP的监控和日志服务进行管理和故障排查。整个过程简单高效,帮助开发者轻松部署和管理JSF应用。
60 0
|
6月前
|
机器学习/深度学习 人工智能 安全
【专栏】云计算平台的比较与选择:AWS、Azure 和 Google Cloud
【4月更文挑战第28天】本文对比了AWS、Azure和Google Cloud三大云计算平台,强调了解它们的差异对于企业选择合适云服务的重要性。AWS以其丰富功能和广泛覆盖领先,Azure与微软生态紧密集成,适合已使用微软技术的企业,而Google Cloud在大数据和AI领域有优势。选择时应考虑服务功能、成本、扩展性、技术支持、安全合规及行业生态。最终决策应基于全面评估以确保为企业提供高效、可靠的云服务。
756 0
|
6月前
|
API Go 网络架构
GEE Colab——如何从本地/Google云盘/Google Cloud Storage (GCS)上传和下载
GEE Colab——如何从本地/Google云盘/Google Cloud Storage (GCS)上传和下载
333 4
|
6月前
|
存储 机器学习/深度学习 人工智能
云计算巨头之争:AWS、Azure和Google Cloud的综合对比与选择指南
本文详细比较了三大云计算平台AWS、Azure和Google Cloud在性能、可靠性、服务覆盖范围、定价策略以及生态系统等方面的优势和劣势。通过对这些关键因素的分析,读者将能够更好地理解各个平台的特点,并为自己的业务选择最合适的云计算平台。
765 0
|
6月前
|
人工智能 大数据 数据处理
云计算巨头大比拼:AWS、Azure和Google Cloud的终极对决
在云计算领域,AWS、Azure和Google Cloud三家巨头一直在竞相争夺市场份额。本文将从性能、可靠性、定价策略以及生态系统等方面对它们进行全面比较,帮助读者做出明智的选择。
1077 0