阿里大数据云原生化实践,EMR Spark on ACK 产品介绍-阿里云开发者社区

开发者社区> 阿里云EMR> 正文
登录阅读全文

阿里大数据云原生化实践,EMR Spark on ACK 产品介绍

简介: 欢迎钉钉扫描文章底部二维码进入 EMR钉钉交流群 直接和讲师讨论交流~ 点击该链接直接观看直播回放:https://developer.aliyun.com/live/246868

开源大数据社区 & 阿里云 EMR 系列直播 第六期


主题:EMR spark on ACK 产品演示及最佳实践


讲师:石磊,阿里云 EMR 团队技术专家


内容框架:

  • 云原生化挑战及阿里实践
  • Spark 容器化方案
  • 产品介绍和演示


直播回放:扫描文章底部二维码加入钉群观看回放,或进入链接https://developer.aliyun.com/live/246868




一、云原生化挑战及阿里实践

大数据技术发展趋势

image.png

云原生化面临挑战

计算与存储分离

如何构建以对象存储为底座的 HCFS 文件系统

  • 完全兼容现有的 HDFS
  • 性能对标 HDFS,成本降低


shuffle 存算分离

如何解决 ACK 混合异构机型

  • 异构机型没有本地盘
  • 社区 [Spark-25299] 讨论,支持 Spark 动态资源,成为业界共识


缓存方案

如何有效支持跨机房、跨专线混合云

  • 需要在容器内支持缓存系统


ACK 调度

如何解决调度性能瓶颈

  • 性能对标 Yarn
  • 多级队列管理


其他

  • 错峰调度
  • Yarnon ACK 节点资源相互感知



阿里实践 - EMR on ACK

image.png


整体方案介绍

image.png

  • 通过数据开发集群/调度平台提交到不同的执行平台
  • 错峰调度,根据业务高峰低峰策略调整
  • 云原生数据湖架构,ACK 弹性扩缩容能力强
  • 通过专线,云上云下混合调度
  • ACK 管理异构机型集群,灵活性好



二、Spark 容器化方案

方案介绍

image.png

RSS Q&A

1、为什么需要 Remote Shuffle Service?

  • RSS 使得 Spark 作业不需要 Executor Pod 挂载云盘。挂载云盘非常不利于扩展性和大规模的生产实践。
  • 云盘的大小无法事前确定,大了浪费空间,小了 Shuffle 会失败。RSS 专门为存储计算分离场景设计。
  • Executor 将 shuffle 数据写入了 RSS 系统,RSS 系统来负责管理 shuffle 数据,Executor 空闲后即可以回收。[SPARK-25299]
  • 可以完美支持动态资源,避免数据倾斜的长尾任务拖住 Executor 资源不能释放。


2、RSS 性能如何,成本如何,扩展性如何?

  • RSS 对于 shuffle 有很深的优化,专门为存储与计算分离场景、K8s 弹性场景而设计。
  • 针对 Shufflefetch 阶段,可以将 reduce 阶段的随机读变为顺序读,大大提升了作业的稳定性和性能。
  • 可以直接利用原有 K8s 集群中的磁盘进行部署,不需要加多余的云盘来进行 shuffle。性价比非常高,部署方式灵活。


Spark Shuffle

image.png

  • 产生 numMapper * numReducer 个 block
  • 顺序写、随机读
  • 写时 Spill
  • 单副本,丢数据需 stage 重算


EMR Remote Shuffle Service

image.png

  • 追加写、顺序读
  • 无写时 Spill
  • 两副本;副本复制到内存后即完成
  • 副本之间通过内网备份,无需公网带宽


RSS TeraSort Benchmark

image.png

  • 备注说明:以10T Terasort 为例,shuffle 量压缩后大约 5.6T。可以看出该量级的作业在 RSS 场景下,由于 shuffle read 变为顺序读,性能会有大幅提升。



Spark on ECI 效果

image.png

Summary

image.png


对应产品介绍和演示,可以扫描文章底部钉钉群二维码,进群观看直播回放哦!

也可以点击以下链接直接观看回放:https://developer.aliyun.com/live/246868




后续我们会在钉钉群定期推送精彩案例,邀请更多技术大牛直播分享。欢迎有兴趣的同学扫下方二维码加入钉钉群进行交流和技术分享。关注公众号,锁定每周精彩分享内容!

image.png





版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
+ 订阅

阿里巴巴开源大数据技术团队成立阿里云EMR技术圈, 每周推送前沿技术文章,直播分享经典案例、在线答疑,营造纯粹的开源大数据氛围,欢迎加入!加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11

官方博客
官网链接