EMR Remote Shuffle Service实践问题之集群中落地阿里云RSS如何解决

简介: EMR Remote Shuffle Service实践问题之集群中落地阿里云RSS如何解决

问题一:阿里云RSS与开源系统X在TPCDS-3T性能测试中的表现差异是什么?


阿里云RSS与开源系统X在TPCDS-3T性能测试中的表现差异是什么?


参考回答:

在TPCDS-3T性能测试中,阿里云RSS的总时间比开源系统X快了20%。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/670789



问题二:在Reducer大规模并发的稳定性测试中,阿里云RSS、Magent和开源系统X的表现如何?


在Reducer大规模并发的稳定性测试中,阿里云RSS、Magent和开源系统X的表现如何?


参考回答:

在Reducer大规模并发的稳定性测试中,阿里云RSS表现最佳,Magnet虽然可以跑通但时间比RSS慢了数倍,而开源系统X在Shuffle Write阶段出现了报错。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/670792



问题三:小米离线集群在使用Spark时面临的主要痛点是什么?


小米离线集群在使用Spark时面临的主要痛点是什么?


参考回答:

小米离线集群使用Spark时,主要痛点集中在Shuffle导致的稳定性差、性能差以及对存算分离架构的限制。作业失败原因主要归结为Fetch Failure,且由于大部分集群使用的是HDD,传统Shuffle的高随机读和高网络连接进一步加剧了这些问题。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/670796



问题四:小米是如何在集群中落地阿里云RSS的,并解决了哪些关键问题?


小米是如何在集群中落地阿里云RSS的,并解决了哪些关键问题?


参考回答:

小米与阿里云EMR团队建立了共创关系,逐步在生产集群中上线RSS。小米主导了磁盘容错的开发,并在多个环节对RSS作业进行了容错处理,如调度端的重试回退到ESS机制,以及ShuffleWriter初始化阶段的自适应Fallback机制。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/670799



问题五:接入阿里云RSS后,小米Spark作业的稳定性和性能有哪些显著提升?


接入阿里云RSS后,小米Spark作业的稳定性和性能有哪些显著提升?


参考回答:

接入阿里云RSS后,小米Spark作业的稳定性显著提升,之前因Fetch Failure失败的作业几乎不再失败。同时,作业性能平均提升了20%。在存算分离方面,小米海外某集群接入RSS后,成功上线了1600+ Core的弹性集群,且作业运行稳定。

ESS:

RSS:

下图展示了接入RSS前后作业运行时间的对比。

ESS:

RSS:


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/670802


相关文章
|
22天前
|
分布式计算 大数据 MaxCompute
EMR Remote Shuffle Service实践问题之阿里云RSS的开源计划内容如何解决
EMR Remote Shuffle Service实践问题之阿里云RSS的开源计划内容如何解决
|
11天前
|
SQL 存储 NoSQL
阿里云 EMR StarRocks 在七猫的应用和实践
本文整理自七猫资深大数据架构师蒋乾老师在 《阿里云 x StarRocks:极速湖仓第二季—上海站》的分享。
117 2
|
19天前
|
存储 分布式计算 大数据
大数据革新在即,阿里云EMR如何布局DeltaLake引领行业潮流?
【8月更文挑战第26天】大数据时代,实时处理与分析能力对企业至关重要。Delta Lake 作为高性能、可靠且支持 ACID 事务的开源存储层,已成为业界焦点。阿里云 EMR 深度布局 Delta Lake,计划深化集成、强化数据安全、优化实时性能,并加强生态建设与社区贡献。通过与 Spark 的无缝对接及持续的技术创新,阿里云 EMR 致力于提供更高效、安全的数据湖解决方案,引领大数据处理领域的发展新方向。
28 3
|
19天前
|
存储 分布式计算 监控
揭秘阿里云EMR:如何巧妙降低你的数据湖成本,让大数据不再昂贵?
【8月更文挑战第26天】阿里云EMR是一种高效的大数据处理服务,助力企业优化数据湖的成本效益。它提供弹性计算资源,支持根据需求调整规模;兼容并优化了Hadoop、Spark等开源工具,提升性能同时降低资源消耗。借助DataWorks及Data Lake Formation等工具,EMR简化了数据湖构建与管理流程,实现了数据的统一化治理。此外,EMR还支持OSS、Table Store等多种存储选项,并配备监控优化工具,确保数据处理流程高效稳定。通过这些措施,EMR帮助企业显著降低了数据处理和存储成本。
31 3
|
19天前
|
安全 数据管理 大数据
数据湖的未来已来:EMR DeltaLake携手阿里云DLF,重塑企业级数据处理格局
【8月更文挑战第26天】在大数据处理领域,阿里云EMR与DeltaLake的集成增强了数据处理能力。进一步结合阿里云DLF服务,实现了数据湖的一站式管理,自动化处理元数据及权限控制,简化管理流程。集成后的方案提升了数据安全性、可靠性和性能优化水平,让用户更专注业务价值。这一集成标志着数据湖技术向着自动化、安全和高效的未来迈出重要一步。
35 2
|
19天前
|
存储 分布式计算 大数据
阿里云 EMR 强势助力,与阿里云大数据体系共创辉煌,把握时代热点,开启生态建设之旅
【8月更文挑战第26天】阿里云EMR(Elastic MapReduce)是一种大数据处理服务,与阿里云的多个服务紧密结合,共同构建了完善的大数据生态系统。EMR与对象存储服务(OSS)集成,利用OSS提供可靠、低成本且可扩展的数据存储;与MaxCompute集成,实现深度数据分析和挖掘;还支持数据湖构建服务,加速数据湖的搭建并简化数据管理与分析过程。EMR提供多种编程接口及工具,如Hive、Spark和Flink等,帮助用户高效完成大数据处理任务。
28 2
|
2月前
|
存储 分布式计算 Serverless
|
30天前
|
存储 机器学习/深度学习 弹性计算
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
|
30天前
|
安全 对象存储
阿里云EMR数据湖文件系统问题之JindoFSOSS的单一prefix热点的问题如何解决
阿里云EMR数据湖文件系统问题之JindoFSOSS的单一prefix热点的问题如何解决
|
30天前
|
存储 安全 API
阿里云EMR数据湖文件系统问题之JindoFS元数据查询和修改请求的问题如何解决
阿里云EMR数据湖文件系统问题之JindoFS元数据查询和修改请求的问题如何解决