AI 助理
备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

8月14日Spark社区直播【Spark Shuffle 优化】

2019-08-12 1470
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
EMR Serverless StarRocks，5000CU*H 48000GB*H
简介： 本次直播介绍EMR Spark 在shuffle方面的相关优化工作，主要包含shuffle 优化的背景以及shuffle 优化的设计方案，最后会介绍Spark shuffle 在 TPC-DS测试中的性能数据

直播间直达链接：（回看链接）

https://tianchi.aliyun.com/course/live?&liveId=41076

或钉钉扫描海报上二维码，进群直接观看。

时间

8月14日19:00

主讲人：

辰石，阿里巴巴计算平台事业部EMR团队技术专家，目前从事大数据存储以及Spark相关方面的工作。

简介：

本次直播介绍EMR Spark 在shuffle方面的相关优化工作，主要包含shuffle 优化的背景以及shuffle 优化的设计方案，最后会介绍Spark shuffle 在 TPC-DS测试中的性能数据

_Spark_Shuffle____spark_

文章标签：
开源大数据平台 E-MapReduce
分布式计算
Spark
关键词：
社区apache spark
相关实践学习
基于EMR Serverless StarRocks一键玩转世界杯
基于StarRocks构建极速统一OLAP平台
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上，利用开源大数据生态系统，包括 Hadoop、Spark、HBase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
阿里云E-MapReduce团队
目录
相关文章
-开发达人-
|
机器学习/深度学习 分布式计算 搜索推荐
从跨国投行到开源社区，IBM Spark总工程师Nick Pentreath的传奇经历
最近，随着 2016 机器学习行业应用国际峰会的举办，Pentreath 来到了北京。机器之心受邀对他进行了独家专访，我们一起聊了聊 Spark 的新版本、IBM 的开源精神、不同平台的竞争关系，以及他在高盛的传奇经历，其中不乏爆料和精彩的观点分享。让我们看看 Pentreath 是怎么说的。
-开发达人-
134 0
从跨国投行到开源社区，IBM Spark总工程师Nick Pentreath的传奇经历
阿里云E-MapReduce团队
|
分布式计算 大数据 Apache
稳赚不赔～Spark社区招募志愿者！
可能是21世纪唯一不看颜值只看人品的招募
阿里云E-MapReduce团队
845 0
稳赚不赔～Spark社区招募志愿者！
开源大数据EMR
|
分布式计算 数据可视化 IDE
5月21日 Spark 社区直播【Spark on Zeppelin】
Apache Zeppelin 是一个交互式的大数据开发Notebook，从一开始就是为Spark定制的。Zeppelin Notebook的开发环境与传统IDE开发环境相比有几大优势：不需要编译Jar，环境配置简单，交互式开发，数据结果可视化等等。 本次直播将会介绍Spark on Zeppelin的一些基本使用方式以及应用场景。
开源大数据EMR
803 0
5月21日 Spark 社区直播【Spark on Zeppelin】
阿里云E-MapReduce团队
|
存储 机器学习/深度学习 分布式计算
10月29日社区直播【Spark Shuffle RPMem扩展: 借助持久内存与RDMA加速Spark 数据分析】
介绍如何利用持久化内存与高性能RDMA 网络来加速Spark Shuffle。
阿里云E-MapReduce团队
4337 0
10月29日社区直播【Spark Shuffle RPMem扩展: 借助持久内存与RDMA加速Spark 数据分析】
阿里云E-MapReduce团队
|
机器学习/深度学习 分布式计算 并行计算
10月15日社区直播【Intel MLlib：构建平台优化的Spark机器学习】
Intel MLlib是一个为Apache Spark MLlib优化的软件包。它在保持和Spark MLlib兼容的同时，在底层利用原生算法库来实现在CPU和GPU上的最优化算法，同时使用Collective Communication来实现效率更高的节点间通信。我们的初步结果表明，该软件包在最小化应用改动的基础上，可以极大地提升MLlib算法的性能。
阿里云E-MapReduce团队
2927 0
10月15日社区直播【Intel MLlib：构建平台优化的Spark机器学习】
阿里云E-MapReduce团队
|
存储 SQL 分布式计算
9月10日 Spark 社区直播【利用持久内存提速Spark】
主要探讨如何在Spark上使用持久内存这一新技术来进一步提速性能。具体会介绍基于Plasma的共享内存方案来提速SQL数据源访问的性能以及利用持久内存扩展Spark现有内存磁盘存储层级来提速RDD cache在迭代式计算中的效果。
阿里云E-MapReduce团队
3270 0
9月10日 Spark 社区直播【利用持久内存提速Spark】
阿里云E-MapReduce团队
|
SQL 存储 缓存
8月27日 Spark 社区直播【OAP Spark 优化介绍: 通过索引和缓存优化交互式查询性能】
简单介绍OAP的总体蓝图。同时详细介绍其中的一个具体优化，使用索引和缓存来解决交互式查询性能挑战。
阿里云E-MapReduce团队
1790 0
8月27日 Spark 社区直播【OAP Spark 优化介绍: 通过索引和缓存优化交互式查询性能】
开源大数据EMR
|
机器学习/深度学习 人工智能 分布式计算
7月23日社区直播【TFPark: Distributed TensorFlow in Production on Apache Spark】
TFPark是开源AI平台Analytics Zoo中一个模块，它的可以很方便让用户在Spark集群中分布式地进行TensorFlow模型的训练和推断。一方面，TFPark利用Spark将TensorFlow 定义的AI训练或推理任务无缝的嵌入到用户的大数据流水线中，而无需对现有集群做任何修改；另一方面TFPark屏蔽了复杂的分布式系统逻辑，可以将单机开发的AI应用轻松扩展到几十甚至上百节点上。本次分享将介绍TFPark的使用，内部实现以及在生产环境中的实际案例。
开源大数据EMR
664 0
7月23日社区直播【TFPark: Distributed TensorFlow in Production on Apache Spark】
阿里云E-MapReduce团队
|
机器学习/深度学习 SQL 分布式计算
7月9日Spark社区直播【通过LLVM加速SparkSQL时间窗口计算】
为什么要优化spark时间窗口 - 未加速前面临问题 - 为什么要使用llvm加速而不是继续优化jvm codegen - 实现介绍-llvm 版本sql引擎设计 - 如何与spark集成 - benchmark数据 vs spark3.0
阿里云E-MapReduce团队
898 0
7月9日Spark社区直播【通过LLVM加速SparkSQL时间窗口计算】
阿里云E-MapReduce团队
|
机器学习/深度学习 SQL 分布式计算
6月23日 Spark 社区技术直播【半小时，将你的Spark SQL模型变为在线服务】
SparkSQL在机器学习场景中应用模型从批量到实时面临的问题 - SparkSQL 转换成实时执行成本高 - 离线特征和在线特征保持一致困难 - 离线效果与在线效果差距大 我们是如何解决这些问题 相对传统实现方式我们优势 SparkSQL实时上线demo
阿里云E-MapReduce团队
721 0
6月23日 Spark 社区技术直播【半小时，将你的Spark SQL模型变为在线服务】
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    现代流式计算的基石：Google DataFlow
  • 2
    HIVE MapJoin异常问题处理总结
  • 3
    阿里封神-大数据处理技术漫谈
  • 4
    JindoFS概述：云原生的大数据计算存储分离方案
  • 5
    5W1H(六何分析法)全景洞察大数据
  • 6
    Flume NG 简介及配置实战
  • 7
    HAS-插件式Kerberos认证框架
  • 8
    HBase写性能优化
  • 9
    hive在E-MapReduce集群的实践（二）集群hive参数优化
  • 10
    11月14日Spark社区直播【 Spark on Kubernetes & YARN】
  • 1
    EMR管控平台全面升级：智能化助力客户实现在离线混部和降本增效
    13
  • 2
    年轻人如果运用圈子系统进行扩列，社交圈子论坛app扩列的好处，兴趣行业圈子提升社交技能
    19
  • 3
    拍立淘API是基于图像识别技术的服务接口，支持淘宝、1688和义乌购平台。
    27
  • 4
    有奖实践，基于EMR StarRocks实现游戏玩家画像和行为分析
    80
  • 5
    基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
    436
  • 6
    【赵渝强老师】部署Hadoop的本地模式
    52
  • 7
    EMR Serverless Spark：一站式全托管湖仓分析利器
    188
  • 8
    降本60% ，阿里云 EMR StarRocks 全新发布存算分离版本
    417
  • 9
    阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse
    146
  • 10
    从数据积累到大模型的智能飞跃，你准备好了吗？
    144

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    手把手教你白嫖阿里云服务器(免费领服务器)