AI 助理
备案控制台
开发者社区 大数据 文章 正文

8月14日Spark社区直播【Spark Shuffle 优化】

2019-08-12 1407
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本次直播介绍EMR Spark 在shuffle方面的相关优化工作，主要包含shuffle 优化的背景以及shuffle 优化的设计方案，最后会介绍Spark shuffle 在 TPC-DS测试中的性能数据

直播间直达链接：（回看链接）

https://tianchi.aliyun.com/course/live?&liveId=41076

或钉钉扫描海报上二维码，进群直接观看。

时间

8月14日19:00

主讲人：

辰石，阿里巴巴计算平台事业部EMR团队技术专家，目前从事大数据存储以及Spark相关方面的工作。

简介：

本次直播介绍EMR Spark 在shuffle方面的相关优化工作，主要包含shuffle 优化的背景以及shuffle 优化的设计方案，最后会介绍Spark shuffle 在 TPC-DS测试中的性能数据_Spark_Shuffle____spark_

文章标签：
分布式计算
Spark
关键词：
apache spark shuffle
apache spark优化
apache spark社区
apache spark shuffle优化
apache spark社区直播Shuffle优化
开源大数据EMR
目录
相关文章
人物我非-32022
|
18天前
|
分布式计算 监控 大数据
如何优化Spark中的shuffle操作？
【10月更文挑战第18天】
人物我非-32022
33 1
yuanzhengme
|
1月前
|
存储 分布式计算 监控
Spark如何优化？需要注意哪些方面？
【10月更文挑战第10天】Spark如何优化？需要注意哪些方面？
yuanzhengme
40 6
武子康
|
1月前
|
分布式计算 Java 大数据
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
武子康
38 0
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
武子康
|
1月前
|
SQL 分布式计算 大数据
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
武子康
42 0
武子康
|
1月前
|
SQL 分布式计算 算法
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（二）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（二）
武子康
78 0
武子康
|
1月前
|
SQL 分布式计算 大数据
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
武子康
38 0
格格的阿里云
|
3月前
|
存储 分布式计算 供应链
Spark在供应链核算中应用问题之通过Spark UI进行任务优化如何解决
Spark在供应链核算中应用问题之通过Spark UI进行任务优化如何解决
格格的阿里云
45 2
wljslmz
|
3月前
|
分布式计算 并行计算 数据处理
如何使用分区和合并来优化 Spark 作业？
【8月更文挑战第13天】
wljslmz
49 4
不吃核桃
|
3月前
|
大数据 RDMA
神龙大数据加速引擎MRACC问题之MRACC-Spark利用eRDMA近网络优化插件来提升性能如何解决
神龙大数据加速引擎MRACC问题之MRACC-Spark利用eRDMA近网络优化插件来提升性能如何解决
不吃核桃
44 0
孜倦与shine
|
5月前
|
缓存 分布式计算 监控
Spark 优化方案
Spark 优化方案
孜倦与shine
61 1

热门文章

最新文章

  • 1
    Spark Job的提交与task本地化分析（源码阅读八）
  • 2
    [Spark][Python]Spark Python 索引页
  • 3
    十二、Spark的安装与部署详情（Local模式，Standalone模式，Spank on YARN模式）
  • 4
    Spark-spark streaming
  • 5
    Spark-构建基于Spark的推荐引擎
  • 6
    Spark PruneDependency 依赖关系 RangePartitioner
  • 7
    Spark Master启动源码分析
  • 8
    spark1.4加载mysql数据 创建Dataframe及join操作连接方法问题
  • 9
    10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
  • 10
    如何查看spark与hadoop、kafka、Scala、flume、hive等兼容版本【适用于任何版本】
  • 1
    数据分享|Python、Spark SQL、MapReduce决策树、回归对车祸发生率影响因素可视化分析
    88
  • 2
    如何解决Spark在深度学习中的资源消耗问题？
    88
  • 3
    Spark在深度学习中的优缺点是什么？
    236
  • 4
    使用Spark进行机器学习
    71
  • 5
    Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
    132
  • 6
    【Spark】Spark基础教程知识点
    78
  • 7
    DataWorks产品使用合集之在DataWorks中，通过spark访问外网的步骤如何解决
    167
  • 8
    MaxCompute操作报错合集之大数据计算的MaxCompute Spark引擎无法读取到表，是什么原因
    144
  • 9
    MaxCompute操作报错合集之spark3.1.1通过resource目录下的conf文件配置，报错如何解决
    78
  • 10
    数据分享|基于Python、Hadoop零售交易数据的Spark数据处理与Echarts可视化分析
    704

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    阿里云OSS设置跨域访问