EMR Remote Shuffle Service实践问题之混合Cosco和Zeus的设计如何解决

简介: EMR Remote Shuffle Service实践问题之混合Cosco和Zeus的设计如何解决

问题一:FireStorm是如何混合Cosco和Zeus的设计的?


FireStorm是如何混合Cosco和Zeus的设计的?


参考回答:

FireStorm在2021年混合了Cosco和Zeus的设计,服务端采用Master-Worker架构,通过Client多写实现多副本。它使用了本地盘+对象存储的多层存储,并采用较大的PushBlock(默认3M)。此外,FireStorm在存储端保留了PushBlock的元信息,并记录在索引文件中。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/670721



问题二:阿里云RSS是在哪一年推出的?其核心设计参考了哪些项目?


阿里云RSS是在哪一年推出的?其核心设计参考了哪些项目?


参考回答:

阿里云RSS在2020年推出,其核心设计参考了Sailfish和Cosco,并在架构和实现层面做了改良。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/670722



问题三:阿里云RSS为何选择作为独立服务提供Shuffle服务?


阿里云RSS为何选择作为独立服务提供Shuffle服务?


参考回答:

阿里云RSS选择作为独立服务提供Shuffle服务,是因为将RSS集成到Spark内部无法满足存算分离架构的需求。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/670749



问题四:阿里云RSS采用什么样的总体架构?


阿里云RSS采用什么样的总体架构?


参考回答:

阿里云RSS采用Master-Worker架构,包含Client(RSS Client, Meta Service)、Master(Resource Manager)和Worker三个角色。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/670750



问题五:在阿里云RSS的Master-Worker架构中,Worker主要负责什么?


在阿里云RSS的Master-Worker架构中,Worker主要负责什么?


参考回答:

在阿里云RSS的Master-Worker架构中,Worker主要负责记录自己所需要服务的Partition列表,并接收Mapper推送的Shuffle数据,进行合并、Replication和刷盘操作。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/670751


相关文章
|
24天前
|
SQL 安全 Serverless
活动实践 | 基于EMR StarRocks实现游戏玩家画像和行为分析
基于阿里云EMR Serverless StarRocks,利用其物化视图和DLF读写Paimon等能力,构建游戏玩家画像和行为分析平台。通过收集、处理玩家行为日志,最终以报表形式展示分析结果,帮助业务人员决策。
|
29天前
|
Serverless BI
有奖实践,基于EMR StarRocks实现游戏玩家画像和行为分析
阿里云EMR-StarRocks联合镜舟科技,基于EMR-StarRocks实现游戏实时湖仓分析,免费试用物化视图、Paimon写入查询等新能力,前45位赢取StarRocks定制T恤、Lamy钢笔,小米充电宝,阿里云拍拍灯等活动礼品,前500位均可获得创意马克杯。
82 3
|
5月前
|
分布式计算 大数据 MaxCompute
EMR Remote Shuffle Service实践问题之阿里云RSS的开源计划内容如何解决
EMR Remote Shuffle Service实践问题之阿里云RSS的开源计划内容如何解决
|
5月前
|
分布式计算 测试技术 调度
EMR Remote Shuffle Service实践问题之集群中落地阿里云RSS如何解决
EMR Remote Shuffle Service实践问题之集群中落地阿里云RSS如何解决
|
5月前
|
SQL 测试技术 流计算
EMR Remote Shuffle Service实践问题之Leader节点变化导致的中断如何解决
EMR Remote Shuffle Service实践问题之Leader节点变化导致的中断如何解决
|
4月前
|
SQL 存储 NoSQL
阿里云 EMR StarRocks 在七猫的应用和实践
本文整理自七猫资深大数据架构师蒋乾老师在 《阿里云 x StarRocks:极速湖仓第二季—上海站》的分享。
323 2
|
5月前
|
存储 缓存 调度
EMR Remote Shuffle Service实践问题之优化Master的负载和扩展性如何解决
EMR Remote Shuffle Service实践问题之优化Master的负载和扩展性如何解决
|
3月前
|
SQL 存储 缓存
阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse
本文介绍了阿里云EMR StarRocks在数据湖分析领域的应用,涵盖StarRocks的数据湖能力、如何构建基于Paimon的实时湖仓、StarRocks与Paimon的最新进展及未来规划。文章强调了StarRocks在极速统一、简单易用方面的优势,以及在数据湖分析加速、湖仓分层建模、冷热融合及全链路ETL等场景的应用。
343 8
阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse
|
3月前
|
SQL 存储 缓存
降本60% ,阿里云 EMR StarRocks 全新发布存算分离版本
阿里云 EMR Serverless StarRocks 现已推出全新存算分离版本,该版本不仅基于开源 StarRocks 进行了全面优化,实现了存储与计算解耦架构,还在性能、弹性伸缩以及多计算组隔离能力方面取得了显著进展。
434 6
|
3月前
|
SQL 存储 缓存
阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse
讲师焦明烨介绍了StarRocks的数据湖能力,如何使用阿里云EMR StarRocks构建基于Paimon的极速实时湖仓,StarRocks与Paimon的最新进展及未来规划。
152 3
下一篇
开通oss服务