开发者社区大数据与机器学习开源大数据平台 E-MapReduce 文章正文

8月14日Spark社区直播【Spark Shuffle 优化】

2019-08-12 855

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

EMR Serverless StarRocks，5000CU*H 48000GB*H

EMR Serverless Spark 免费试用，1000 CU*H 有效期3个月

简介： 本次直播介绍EMR Spark 在shuffle方面的相关优化工作，主要包含shuffle 优化的背景以及shuffle 优化的设计方案，最后会介绍Spark shuffle 在 TPC-DS测试中的性能数据

直播间直达链接：（回看链接）
https://developer.aliyun.com/live/1361

或钉钉扫描海报上二维码，进群直接观看。

时间
8月14日19:00

主讲人：
辰石，阿里巴巴计算平台事业部EMR团队技术专家，目前从事大数据存储以及Spark相关方面的工作。

简介：
本次直播介绍EMR Spark 在shuffle方面的相关优化工作，主要包含shuffle 优化的背景以及shuffle 优化的设计方案，最后会介绍Spark shuffle 在 TPC-DS测试中的性能数据
Spark Shuffle.jpg

文章标签：

开源大数据平台 E-MapReduce

分布式计算

Spark

关键词：

apache spark shuffle

apache spark优化

社区apache spark

apache spark社区

apache spark shuffle优化

开源大数据EMR

游客tvgb6vci6chtq

9月前

缓存分布式计算资源调度

Spark 与 MapReduce 的 Shuffle 的区别？

MapReduce 和 Spark 在 Shuffle 过程中有显著区别。MapReduce 采用两阶段模型，中间数据写入磁盘，I/O 开销大；而 Spark 使用基于内存的多阶段执行模型，支持操作合并和内存缓存，减少 I/O。Spark 的 RDD 转换优化减少了 Shuffle 次数，提升了性能。此外，Spark 通过 lineage 实现容错，资源管理更灵活，整体大数据处理效率更高。

游客tvgb6vci6chtq

431 6 7

技术小达人

9月前

SQL 分布式计算 Java

Spark SQL向量化执行引擎框架Gluten-Velox在AArch64使能和优化

本文摘自 Arm China的工程师顾煜祺关于“在 Arm 平台上使用 Native 算子库加速 Spark”的分享，主要内容包括以下四个部分： 1.技术背景 2.算子库构成 3.算子操作优化 4.未来工作

技术小达人

965 0 0

人物我非-32022

11月前

分布式计算监控大数据