阿里云开源大数据平台升级EMR2.0发布 性能最高可提升6倍

简介: 阿里云EMR2.0为用户提供了全新的平台、开发、资源形态、分析场景等更优的产品体验,通过EMR Doctor健康检查、全面的服务巡检和事件通知、节点故障补偿等运维能力的升级,预估运维成本可降低20%-30%。新平台致力于为客户快速构建高性价比、安全可靠、兼容生态的开源大数据平台。

12月27日,阿里云正式发布云原生开源大数据平台EMR 2.0,升级后的开源大数据平台在成本持平的情况下,扩缩容性能最高可提升6倍。

据悉,阿里云EMR2.0为用户提供了全新的平台、开发、资源形态、分析场景等更优的产品体验,通过EMR Doctor健康检查、全面的服务巡检和事件通知、节点故障补偿等运维能力的升级,预估运维成本可降低20%-30%。新平台致力于为客户快速构建高性价比、安全可靠、兼容生态的开源大数据平台。


ktwcc43yt7c7k_a8fdd67efa6042c9ab5f7ed7ce433842.png

EMR2.0与EMR1.0弹性扩容速度对比

云原生趋势下,开源大数据处于重构之中,以 Hadoop 为核心的开源大数据体系,开始转变为多元化技术并行发展。阿里云EMR产品负责人何源介绍, 阿里云EMR于2009年开始服务阿里巴巴集团内部客户,2016年将过往的技术能力产品化开放,为客户提供商业化服务。作为开源大数据领域的引领产品,EMR 2.0通过云原生能力重构平台层、数据层、计算层,满足数千客户流处理、数据可视化、交互式分析、数据湖等多场景需求,重新定义了新一代开源大数据平台。为客户构建新一代开源大数据基础设施。

ktwcc43yt7c7k_c06ede752c1441e3aea6747a0bf17167.png

EMR 2.0产品架构图

客户基于EMR2.0平台可实现更加低成本、高效率、智能化的大数据集群管控和应用开发。通过使用抢占式实例,生产实证最多可降低百分之八十以上的成本。开启故障实例自动补偿,在全场景集群下,稳定性可以提高1个9。全新发布的EMR Doctor,通过健康检查服务的集群日报功能,查看集群是否存在资源浪费;通过任务评分倒排Top N,找到资源浪费最多的作业进行优化;通过持续优化,帮助客户最大化利用资源,避免浪费。同时,还可以帮助客户提前发现一些风险并进行处理。EMR Studio,提供Notebook和Workflow服务。全托管Notebook,兼容 用户Jupyter使用习惯,可以无缝对接EMR各计算、存储引擎,进行交互式的大数据开发和调试,已经开发和调试完的作业可以加入Workflow工作流里进行调度和上线。此外EMR Studio的Workflow服务也还支持Flink等的作业。

2022年6月,阿里云EMR联合 OSS、 DLF、DataWorks等构建的云原生数据湖产品方案通过信通院评测认证,是国内首批且唯一满分的产品方案,该方案为用户提供“全托管湖存储、全面湖加速、统一湖管理、多模态湖计算和智能湖治理”等全面数据湖能力。(国内首批!阿里云云原生数据湖产品通过信通院评测认证)

国内知名广告营销服务商汇量科技已使用EMR产品4年。在业务快速增长的大好形势下,汇量科技面临越来越多的困扰:如数据来源复杂、数据量大、数据维度多、实时运营业务秒级数据新鲜度需求等业务需求;本次升级后,汇量科技在素材平台、热力引擎等业务的大数据平台搭建上,数据同步和及查询效率有数倍提升,系统稳定性显著提升,未再出现之前cpu、mem、io负载高等情况。

随着阿里云EMR2.0的发布,阿里云EMR将技术引领优势,转化为云上产品服务能力。重新定义的新一代 EMR 产品,将为各行业广大客户构建开源大数据平台提供最扎实的基座保障。


了解更多阿里云大数据AI技术:https://www.aliyun.com/product/bigdata/apsarabigdata

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
5月前
|
存储 SQL 分布式计算
开源大数据比对平台设计与实践—dataCompare
开源大数据比对平台设计与实践—dataCompare
79 0
|
5月前
|
SQL 大数据 关系型数据库
开源大数据比对平台(dataCompare)新版本发布
开源大数据比对平台(dataCompare)新版本发布
84 0
|
4月前
|
机器学习/深度学习 自然语言处理 搜索推荐
阿里云向量检索服务:重塑大数据检索的未来
阿里云向量检索服务是一款强大且易于使用的云服务产品,专为大数据检索而设计。通过深度学习模型和高效的索引结构,该服务提供了快速、准确的检索能力,适用于多种业务场景。在评测中,我们对其功能、性能和业务场景适配性进行了全面评估,认为其具有出色的性能和良好的业务场景适配性。未来,阿里云向量检索服务有望持续发展和创新,拓展更多应用领域,为用户带来更加卓越的体验。
1492 5
|
5月前
|
SQL 存储 分布式计算
从0到1介绍一下开源大数据比对平台dataCompare
从0到1介绍一下开源大数据比对平台dataCompare
138 0
|
3天前
|
存储 缓存 安全
阿里云EMR数据湖文件系统: 面向开源和云打造下一代 HDFS
本文作者详细地介绍了阿里云EMR数据湖文件系统JindoFS的起源、发展迭代以及性能。
|
5月前
|
分布式计算 运维 DataWorks
松柏之志,下聚百川-松下中国阿里云大数据实践
松下集团在中国及东北亚地区拥有有64家法人公司,员工人数约4万人,业务范围涉及研究开发,养老、铸件、汽车、车载、能源、电池等多个方面,这些多元化的业务组合为松下常年可持续性发展提供坚实保障。中国地区的松下已有30多年的历史,集合了研发、生产、制造、流通、销售、服务于一体。 互联网浪潮下,松下作为百年传统制造业企业,在务实的坚实基础上进行创新,本文将围绕数字化改革中所遇挑战,松下数据治理实践及未来期待三部分进行说明。
101557 13
松柏之志,下聚百川-松下中国阿里云大数据实践
|
2月前
|
分布式计算 运维 大数据
阿里云 EMR Serverless Spark 版免费邀测中
阿里云 EMR Serverless Spark 版,以 Spark Native Engine 为基础,旨在提供一个全托管、一站式的数据开发平台。诚邀您参与 EMR Serverless Spark 版免费测试,体验 100% 兼容 Spark 的 Serverless 服务:https://survey.aliyun.com/apps/zhiliao/iscizrF54
419 0
阿里云 EMR Serverless Spark 版免费邀测中
|
2月前
|
SQL 存储 监控
构建端到端的开源现代数据平台
构建端到端的开源现代数据平台
61 4
|
2月前
|
人工智能 DataWorks 数据可视化
心动基于阿里云DataWorks构建游戏行业通用大数据模型
心动游戏在阿里云上构建云原生大数据平台,基于DataWorks构建行业通用大数据模型,如玩家、产品、SDK、事件、发行等,满足各种不同的分析型应用的要求,如AI场景、风控场景、数据分析场景等。
344 1
|
3月前
|
人工智能 分布式计算 大数据
重磅!阿里云在海外市场推出系列AI大数据产品
重磅!阿里云在海外市场推出系列AI大数据产品
104 1