问题一:FireStorm是如何混合Cosco和Zeus的设计的?
FireStorm是如何混合Cosco和Zeus的设计的?
参考回答:
FireStorm在2021年混合了Cosco和Zeus的设计,服务端采用Master-Worker架构,通过Client多写实现多副本。它使用了本地盘+对象存储的多层存储,并采用较大的PushBlock(默认3M)。此外,FireStorm在存储端保留了PushBlock的元信息,并记录在索引文件中。
关于本问题的更多问答可点击原文查看:
https://developer.aliyun.com/ask/670721
问题二:阿里云RSS是在哪一年推出的?其核心设计参考了哪些项目?
阿里云RSS是在哪一年推出的?其核心设计参考了哪些项目?
参考回答:
阿里云RSS在2020年推出,其核心设计参考了Sailfish和Cosco,并在架构和实现层面做了改良。
关于本问题的更多问答可点击原文查看:
https://developer.aliyun.com/ask/670722
问题三:阿里云RSS为何选择作为独立服务提供Shuffle服务?
阿里云RSS为何选择作为独立服务提供Shuffle服务?
参考回答:
阿里云RSS选择作为独立服务提供Shuffle服务,是因为将RSS集成到Spark内部无法满足存算分离架构的需求。
关于本问题的更多问答可点击原文查看:
https://developer.aliyun.com/ask/670749
问题四:阿里云RSS采用什么样的总体架构?
阿里云RSS采用什么样的总体架构?
参考回答:
阿里云RSS采用Master-Worker架构,包含Client(RSS Client, Meta Service)、Master(Resource Manager)和Worker三个角色。
关于本问题的更多问答可点击原文查看:
https://developer.aliyun.com/ask/670750
问题五:在阿里云RSS的Master-Worker架构中,Worker主要负责什么?
在阿里云RSS的Master-Worker架构中,Worker主要负责什么?
参考回答:
在阿里云RSS的Master-Worker架构中,Worker主要负责记录自己所需要服务的Partition列表,并接收Mapper推送的Shuffle数据,进行合并、Replication和刷盘操作。
关于本问题的更多问答可点击原文查看:
https://developer.aliyun.com/ask/670751