EMR Remote Shuffle Service实践问题之集群中落地阿里云RSS如何解决

简介: EMR Remote Shuffle Service实践问题之集群中落地阿里云RSS如何解决

问题一:阿里云RSS与开源系统X在TPCDS-3T性能测试中的表现差异是什么?


阿里云RSS与开源系统X在TPCDS-3T性能测试中的表现差异是什么?


参考回答:

在TPCDS-3T性能测试中,阿里云RSS的总时间比开源系统X快了20%。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/670789



问题二:在Reducer大规模并发的稳定性测试中,阿里云RSS、Magent和开源系统X的表现如何?


在Reducer大规模并发的稳定性测试中,阿里云RSS、Magent和开源系统X的表现如何?


参考回答:

在Reducer大规模并发的稳定性测试中,阿里云RSS表现最佳,Magnet虽然可以跑通但时间比RSS慢了数倍,而开源系统X在Shuffle Write阶段出现了报错。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/670792



问题三:小米离线集群在使用Spark时面临的主要痛点是什么?


小米离线集群在使用Spark时面临的主要痛点是什么?


参考回答:

小米离线集群使用Spark时,主要痛点集中在Shuffle导致的稳定性差、性能差以及对存算分离架构的限制。作业失败原因主要归结为Fetch Failure,且由于大部分集群使用的是HDD,传统Shuffle的高随机读和高网络连接进一步加剧了这些问题。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/670796



问题四:小米是如何在集群中落地阿里云RSS的,并解决了哪些关键问题?


小米是如何在集群中落地阿里云RSS的,并解决了哪些关键问题?


参考回答:

小米与阿里云EMR团队建立了共创关系,逐步在生产集群中上线RSS。小米主导了磁盘容错的开发,并在多个环节对RSS作业进行了容错处理,如调度端的重试回退到ESS机制,以及ShuffleWriter初始化阶段的自适应Fallback机制。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/670799



问题五:接入阿里云RSS后,小米Spark作业的稳定性和性能有哪些显著提升?


接入阿里云RSS后,小米Spark作业的稳定性和性能有哪些显著提升?


参考回答:

接入阿里云RSS后,小米Spark作业的稳定性显著提升,之前因Fetch Failure失败的作业几乎不再失败。同时,作业性能平均提升了20%。在存算分离方面,小米海外某集群接入RSS后,成功上线了1600+ Core的弹性集群,且作业运行稳定。

ESS:

RSS:

下图展示了接入RSS前后作业运行时间的对比。

ESS:

RSS:


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/670802


相关文章
|
5月前
|
存储 运维 Serverless
千万级数据秒级响应!碧桂园基于 EMR Serverless StarRocks 升级存算分离架构实践
碧桂园服务通过引入 EMR Serverless StarRocks 存算分离架构,解决了海量数据处理中的资源利用率低、并发能力不足等问题,显著降低了硬件和运维成本。实时查询性能提升8倍,查询出错率减少30倍,集群数据 SLA 达99.99%。此次技术升级不仅优化了用户体验,还结合AI打造了“一看”和“—问”智能场景助力精准决策与风险预测。
483 69
|
5月前
|
存储 分布式计算 OLAP
百观科技基于阿里云 EMR 的数据湖实践分享
百观科技为应对海量复杂数据处理的算力与成本挑战,基于阿里云 EMR 构建数据湖。EMR 依托高可用的 OSS 存储、开箱即用的 Hadoop/Spark/Iceberg 等开源技术生态及弹性调度,实现数据接入、清洗、聚合与分析全流程。通过 DLF 与 Iceberg 的优化、阶梯式弹性调度(资源利用率提升至70%)及倚天 ARM 机型搭配 EMR Trino 方案,兼顾性能与成本,支撑数据分析需求,降低算力成本。
383 59
|
7月前
|
存储 分布式计算 物联网
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台,实现了数据与 AI 技术的有效融合,解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台,最终实现不同场景下整体性能提升50%以上,同时综合成本下降30%。
579 58
|
7月前
|
机器学习/深度学习 分布式计算 大数据
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
面对机器学习场景下的训练瓶颈,微财选择基于阿里云 EMR Serverless Spark 建立数据平台。通过 EMR Serverless Spark,微财突破了单机训练使用的数据规模瓶颈,大幅提升了训练效率,解决了存算分离架构下 Shuffle 稳定性和性能困扰,为智能风控等业务提供了强有力的技术支撑。
339 15
|
8月前
|
SQL 弹性计算 分布式计算
阿里云 EMR 发布托管弹性伸缩功能,支持自动调整集群大小,最高降本60%
阿里云开源大数据平台 E-MapReduce 重磅推出托管弹性伸缩功能,基于 EMR 托管弹性伸缩功能,您可以指定集群的最小和最大计算限制,EMR 会持续对与集群上运行的工作负载相关的关键指标进行采样,自动调整集群大小,以获得最佳性能和资源利用率。
358 15
|
7月前
|
SQL 存储 OLAP
阿里云 EMR Serverless StarRocks3.x,极速统一的湖仓新范式
阿里云 EMR Serverless StarRocks3.x,极速统一的湖仓新范式
234 0
|
7月前
|
SQL 分布式计算 Serverless
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
152 0
|
11月前
|
SQL 存储 缓存
降本60% ,阿里云 EMR StarRocks 全新发布存算分离版本
阿里云 EMR Serverless StarRocks 现已推出全新存算分离版本,该版本不仅基于开源 StarRocks 进行了全面优化,实现了存储与计算解耦架构,还在性能、弹性伸缩以及多计算组隔离能力方面取得了显著进展。
937 62
|
9月前
|
SQL 安全 Serverless
活动实践 | 基于EMR StarRocks实现游戏玩家画像和行为分析
基于阿里云EMR Serverless StarRocks,利用其物化视图和DLF读写Paimon等能力,构建游戏玩家画像和行为分析平台。通过收集、处理玩家行为日志,最终以报表形式展示分析结果,帮助业务人员决策。
|
9月前
|
Serverless BI
有奖实践,基于EMR StarRocks实现游戏玩家画像和行为分析
阿里云EMR-StarRocks联合镜舟科技,基于EMR-StarRocks实现游戏实时湖仓分析,免费试用物化视图、Paimon写入查询等新能力,前45位赢取StarRocks定制T恤、Lamy钢笔,小米充电宝,阿里云拍拍灯等活动礼品,前500位均可获得创意马克杯。
246 7