备案控制台
探索云世界
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

8月14日Spark社区直播【Spark Shuffle 优化】

2019-08-12 1438
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本次直播介绍EMR Spark 在shuffle方面的相关优化工作，主要包含shuffle 优化的背景以及shuffle 优化的设计方案，最后会介绍Spark shuffle 在 TPC-DS测试中的性能数据

直播间直达链接：（回看链接）

https://tianchi.aliyun.com/course/live?&liveId=41076

或钉钉扫描海报上二维码，进群直接观看。

时间

8月14日19:00

主讲人：

辰石，阿里巴巴计算平台事业部EMR团队技术专家，目前从事大数据存储以及Spark相关方面的工作。

简介：

本次直播介绍EMR Spark 在shuffle方面的相关优化工作，主要包含shuffle 优化的背景以及shuffle 优化的设计方案，最后会介绍Spark shuffle 在 TPC-DS测试中的性能数据

_Spark_Shuffle____spark_

文章标签：
开源大数据平台 E-MapReduce
分布式计算
Spark
相关实践学习
数据湖构建DLF快速入门
本教程通过使⽤数据湖构建DLF产品对于淘宝用户行为样例数据的分析，介绍数据湖构建DLF产品的数据发现和数据探索功能。
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上，利用开源大数据生态系统，包括 Hadoop、Spark、HBase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
阿里云E-MapReduce团队
目录
相关文章
about云
|
消息中间件 分布式计算 Java
spark streaming知识总结[优化]
spark streaming知识总结[优化]
about云
180 0
auqbllxiu
|
分布式计算 Apache Spark
《# Apache Spark系列技术直播# 第五讲【 Spark RDD编程入门 】》电子版地址
# Apache Spark系列技术直播# 第五讲【 Spark RDD编程入门 】
auqbllxiu
85 0
《# Apache Spark系列技术直播# 第五讲【 Spark RDD编程入门 】》电子版地址
开源大数据EMR
|
分布式计算 数据可视化 IDE
5月21日 Spark 社区直播【Spark on Zeppelin】
Apache Zeppelin 是一个交互式的大数据开发Notebook，从一开始就是为Spark定制的。Zeppelin Notebook的开发环境与传统IDE开发环境相比有几大优势：不需要编译Jar，环境配置简单，交互式开发，数据结果可视化等等。 本次直播将会介绍Spark on Zeppelin的一些基本使用方式以及应用场景。
开源大数据EMR
767 0
5月21日 Spark 社区直播【Spark on Zeppelin】
开源大数据EMR
|
分布式计算 Spark
8月14日Spark社区直播【Spark Shuffle 优化】
本次直播介绍EMR Spark 在shuffle方面的相关优化工作，主要包含shuffle 优化的背景以及shuffle 优化的设计方案，最后会介绍Spark shuffle 在 TPC-DS测试中的性能数据
开源大数据EMR
792 0
8月14日Spark社区直播【Spark Shuffle 优化】
开源大数据EMR
|
存储 分布式计算 Apache
7月24日晚Spark社区直播：【Apache Spark 基于 Apache Arrow 的列式存储优化】
Apache Arrow 是一个基于内存的列式存储标准，旨在解决数据交换和传输过程中，序列化和反序列化带来的开销。目前，Apache Spark 社区的一些重要优化都在围绕 Apache Arrow 展开，本次分享会介绍 Apache Arrow 并分析通过 Arrow 将给 Spark 带来哪些特性。
开源大数据EMR
2406 0
社区小助手
|
分布式计算 API Apache
# Apache spark系列技术直播# 第五讲【 Spark RDD编程入门 】
主讲人：王道远(健身) 阿里巴巴计算平台EMR技术专家 直播时间：2018.12.13（本周四）19:00 - 20:00 内容提要：本次讲座主要涵盖Spark RDD编程入门基础，包括： Spark、RDD简介 RDD API简介 打包与spark-submit 性能分析与调优基础 ppt链接：https://yq.
社区小助手
1511 0
社区小助手
|
分布式计算 API Apache
# Apache Spark系列技术直播# 第五讲【 Spark RDD编程入门 】
内容提要：本次讲座主要涵盖Spark RDD编程入门基础，包括：1. Spark、RDD简介 2. RDD API简介 3. 打包与spark-submit 4. 性能分析与调优基础主讲人：王道远(健身) 阿里巴巴计算平台EMR技术专家直播时间：2018.
社区小助手
1469 0
开源大数据EMR
|
SQL 分布式计算 Scala
[转载] 是时候学习真正的 spark 技术了
spark sql 可以说是 spark 中的精华部分了，我感觉整体复杂度是 spark streaming 的 5 倍以上，现在 spark 官方主推 structed streaming， spark streaming 维护的也不积极了， 我们基于 spark 来构建大数据计算任务，重心也要...
开源大数据EMR
2427 0
青夜之衫
|
分布式计算 Spark
《Spark快速大数据分析》—— 第七章 在集群上运行Spark
青夜之衫
776 0
技术小甜
|
消息中间件 分布式计算 Java
Spark入门实战系列--7.Spark Streaming（上）--实时流计算Spark Streaming原理介绍
技术小甜
2296 0
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    使用Hive进行OSS数据处理的一个最佳实践
  • 2
    11月14日Spark社区直播【 Spark on Kubernetes & YARN】
  • 3
    YARN中的CPU资源隔离-CGroups
  • 4
    使用Spark Streaming SQL基于时间窗口进行数据统计
  • 5
    用Aliyun E-MapReduce集群的sqoop工具和数据库同步数据如何配置网络
  • 6
    欢迎加入Spark中国社区
  • 7
    开源大数据周刊-第91期
  • 8
    TCP的backlog导致的HBase超时问题排查
  • 9
    使用E-MapReduce集群sqoop组件同步云外Oracle数据库数据到集群hive
  • 10
    在E-MapReduce集群内运行Spark GraphX作业
  • 1
    基于阿里云向量检索 Milvus 版与 PAI 搭建高效的检索增强生成（RAG）系统
    45
  • 2
    通过阿里云向量检索 Milvus 版和通义千问快速构建基于专属知识库的问答系统
    201
  • 3
    EMR Notebook 开启公测，提供交互式数据分析平台
    140
  • 4
    Apache Hadoop入门指南：搭建分布式大数据处理平台
    35
  • 5
    阿里云向量检索 Milvus 版开启公测，助力企业打造高质量 AI 服务
    395
  • 6
    Paimon 与 Spark 的集成（二）：查询优化
    117461
  • 7
    阿里云 EMR Serverless Spark 版免费邀测中
    390
  • 8
    实用工具推荐：适用于 TypeScript 网络爬取的常用爬虫框架与库
    194
  • 9
    1688API接口推荐：1688按图搜索拍立淘数据接口
    288
  • 10
    【玩转幻兽帕鲁部署】阿里云幻兽帕鲁服务器搭建1分钟搞定：从入门到精通
    845

    • 相关课程

    更多
  • 大数据实时计算框架Spark快速入门
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段

    • 相关电子书

    更多
  • # Apache Spark系列技术直播# 第五讲【 Spark RDD编程入门 】
  • Spark优化实践
  • 云HBaseSQL及分析 ——Phoenix&Spark
    • 下一篇
    阿里云oss简介和使用流程