EMR Remote Shuffle Service实践问题之集群中落地阿里云RSS如何解决

简介: EMR Remote Shuffle Service实践问题之集群中落地阿里云RSS如何解决

问题一:阿里云RSS与开源系统X在TPCDS-3T性能测试中的表现差异是什么?


阿里云RSS与开源系统X在TPCDS-3T性能测试中的表现差异是什么?


参考回答:

在TPCDS-3T性能测试中,阿里云RSS的总时间比开源系统X快了20%。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/670789



问题二:在Reducer大规模并发的稳定性测试中,阿里云RSS、Magent和开源系统X的表现如何?


在Reducer大规模并发的稳定性测试中,阿里云RSS、Magent和开源系统X的表现如何?


参考回答:

在Reducer大规模并发的稳定性测试中,阿里云RSS表现最佳,Magnet虽然可以跑通但时间比RSS慢了数倍,而开源系统X在Shuffle Write阶段出现了报错。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/670792



问题三:小米离线集群在使用Spark时面临的主要痛点是什么?


小米离线集群在使用Spark时面临的主要痛点是什么?


参考回答:

小米离线集群使用Spark时,主要痛点集中在Shuffle导致的稳定性差、性能差以及对存算分离架构的限制。作业失败原因主要归结为Fetch Failure,且由于大部分集群使用的是HDD,传统Shuffle的高随机读和高网络连接进一步加剧了这些问题。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/670796



问题四:小米是如何在集群中落地阿里云RSS的,并解决了哪些关键问题?


小米是如何在集群中落地阿里云RSS的,并解决了哪些关键问题?


参考回答:

小米与阿里云EMR团队建立了共创关系,逐步在生产集群中上线RSS。小米主导了磁盘容错的开发,并在多个环节对RSS作业进行了容错处理,如调度端的重试回退到ESS机制,以及ShuffleWriter初始化阶段的自适应Fallback机制。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/670799



问题五:接入阿里云RSS后,小米Spark作业的稳定性和性能有哪些显著提升?


接入阿里云RSS后,小米Spark作业的稳定性和性能有哪些显著提升?


参考回答:

接入阿里云RSS后,小米Spark作业的稳定性显著提升,之前因Fetch Failure失败的作业几乎不再失败。同时,作业性能平均提升了20%。在存算分离方面,小米海外某集群接入RSS后,成功上线了1600+ Core的弹性集群,且作业运行稳定。

ESS:

RSS:

下图展示了接入RSS前后作业运行时间的对比。

ESS:

RSS:


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/670802


目录
打赏
0
0
0
0
17
分享
相关文章
百观科技基于阿里云 EMR 的数据湖实践分享
百观科技为应对海量复杂数据处理的算力与成本挑战,基于阿里云 EMR 构建数据湖。EMR 依托高可用的 OSS 存储、开箱即用的 Hadoop/Spark/Iceberg 等开源技术生态及弹性调度,实现数据接入、清洗、聚合与分析全流程。通过 DLF 与 Iceberg 的优化、阶梯式弹性调度(资源利用率提升至70%)及倚天 ARM 机型搭配 EMR Trino 方案,兼顾性能与成本,支撑数据分析需求,降低算力成本。
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
面对机器学习场景下的训练瓶颈,微财选择基于阿里云 EMR Serverless Spark 建立数据平台。通过 EMR Serverless Spark,微财突破了单机训练使用的数据规模瓶颈,大幅提升了训练效率,解决了存算分离架构下 Shuffle 稳定性和性能困扰,为智能风控等业务提供了强有力的技术支撑。
206 15
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台,实现了数据与 AI 技术的有效融合,解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台,最终实现不同场景下整体性能提升50%以上,同时综合成本下降30%。
阿里云 EMR Serverless StarRocks3.x,极速统一的湖仓新范式
阿里云 EMR Serverless StarRocks3.x,极速统一的湖仓新范式
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
阿里云 EMR 发布托管弹性伸缩功能,支持自动调整集群大小,最高降本60%
阿里云开源大数据平台 E-MapReduce 重磅推出托管弹性伸缩功能,基于 EMR 托管弹性伸缩功能,您可以指定集群的最小和最大计算限制,EMR 会持续对与集群上运行的工作负载相关的关键指标进行采样,自动调整集群大小,以获得最佳性能和资源利用率。
200 15
活动实践 | 基于EMR StarRocks实现游戏玩家画像和行为分析
基于阿里云EMR Serverless StarRocks,利用其物化视图和DLF读写Paimon等能力,构建游戏玩家画像和行为分析平台。通过收集、处理玩家行为日志,最终以报表形式展示分析结果,帮助业务人员决策。
|
4月前
|
有奖实践,基于EMR StarRocks实现游戏玩家画像和行为分析
阿里云EMR-StarRocks联合镜舟科技,基于EMR-StarRocks实现游戏实时湖仓分析,免费试用物化视图、Paimon写入查询等新能力,前45位赢取StarRocks定制T恤、Lamy钢笔,小米充电宝,阿里云拍拍灯等活动礼品,前500位均可获得创意马克杯。
159 7
|
6月前
|
降本60% ,阿里云 EMR StarRocks 全新发布存算分离版本
阿里云 EMR Serverless StarRocks 现已推出全新存算分离版本,该版本不仅基于开源 StarRocks 进行了全面优化,实现了存储与计算解耦架构,还在性能、弹性伸缩以及多计算组隔离能力方面取得了显著进展。
626 6
|
6月前
|
阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse
讲师焦明烨介绍了StarRocks的数据湖能力,如何使用阿里云EMR StarRocks构建基于Paimon的极速实时湖仓,StarRocks与Paimon的最新进展及未来规划。
250 3

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等