RSS在小米的落地过程中，小米是如何做的？
RSS在小米的落地过程中，小米是如何做的？
展开
收起
来自：
阿里技术
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
1
条回答
写回答
-
在落地的过程，小米主导了磁盘容错的开发，大大提高了RSS的服务稳定性，在前期RSS还未完全稳定阶段，小米在多个环节对RSS的作业进行了容错。在调度端，若开启RSS的Spark作业因Shuffle报错，则Yarn的下次重试会回退到ESS。在ShuffleWriter初始化阶段，小米主导了自适应Fallback机制，根据当前RSS集群的负载和作业的特征(如Reducer并发是否过大)自动选择RSS或ESS，从而提升稳定性。
2022-05-09 16:43:24赞同 展开评论
相关问答
