AI 助理
备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

9月10日 Spark 社区直播【利用持久内存提速Spark】

2020-09-09 3266
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
EMR Serverless StarRocks，5000CU*H 48000GB*H
简介： 主要探讨如何在Spark上使用持久内存这一新技术来进一步提速性能。具体会介绍基于Plasma的共享内存方案来提速SQL数据源访问的性能以及利用持久内存扩展Spark现有内存磁盘存储层级来提速RDD cache在迭代式计算中的效果。

主题：

利用持久内存提速Spark

简介：

主要探讨如何在Spark上使用持久内存这一新技术来进一步提速性能。具体会介绍基于Plasma的共享内存方案来提速SQL数据源访问的性能以及利用持久内存扩展Spark现有内存磁盘存储层级来提速RDD cache在迭代式计算中的效果。

时间：

9月10日 19:00 本周四

观看方式：

或届时进入直播间（回看链接）：
https://developer.aliyun.com/live/45184

讲师介绍：

纪琨尚，英特尔亚太研发有限公司大数据部门的软件工程师，专注于Spark计算框架上基于Optane PMEM的优化

叶宇强，英特尔亚太研发有限公司大数据部门的资深软件工程师，专注于Spark计算框架上基于Optane PMEM的优化
加速spark.png

文章标签：
开源大数据平台 E-MapReduce
分布式计算
SQL
Spark
存储
大数据
关键词：
apache spark社区
spark内存
apache spark内存
内存spark
社区内存
相关实践学习
基于EMR Serverless StarRocks一键玩转世界杯
基于StarRocks构建极速统一OLAP平台
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上，利用开源大数据生态系统，包括 Hadoop、Spark、HBase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
阿里云E-MapReduce团队
目录
相关文章
vohelon
|
6月前
|
机器学习/深度学习 分布式计算 数据处理
Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
【5月更文挑战第2天】Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
vohelon
133 3
FrancekChen
|
6月前
|
SQL 分布式计算 Hadoop
Spark分布式内存计算框架
Spark分布式内存计算框架
FrancekChen
169 0
开发工程师
|
存储 关系型数据库 MySQL
带你读《2022龙蜥社区全景白皮书》——5.3.4 跨处理器节点内存访问优化
带你读《2022龙蜥社区全景白皮书》——5.3.4 跨处理器节点内存访问优化
开发工程师
424 13
星光下的赶路人
|
分布式计算 监控 Java
Spark学习---7、Spark内核（源码提交流程、任务执行、Shuffle、内存管理）（一）
Spark学习---7、Spark内核（源码提交流程、任务执行、Shuffle、内存管理）（一）
星光下的赶路人
382 0
开发工程师
|
缓存 运维 Java
带你读《2022龙蜥社区全景白皮书》——5.3.4 跨处理器节点内存访问优化
带你读《2022龙蜥社区全景白皮书》——5.3.4 跨处理器节点内存访问优化
开发工程师
189 7
码农工程师
|
安全 Java Go
Go 语言社区新提案 arena，可优化内存分配
Go 语言社区新提案 arena，可优化内存分配
码农工程师
390 0
Go 语言社区新提案 arena，可优化内存分配
萌狼蓝天
|
分布式计算 Scala Spark
【Spark】【RDD】从内存（集合）创建RDD
【Spark】【RDD】从内存（集合）创建RDD
萌狼蓝天
159 0
-开发达人-
|
机器学习/深度学习 分布式计算 搜索推荐
从跨国投行到开源社区，IBM Spark总工程师Nick Pentreath的传奇经历
最近，随着 2016 机器学习行业应用国际峰会的举办，Pentreath 来到了北京。机器之心受邀对他进行了独家专访，我们一起聊了聊 Spark 的新版本、IBM 的开源精神、不同平台的竞争关系，以及他在高盛的传奇经历，其中不乏爆料和精彩的观点分享。让我们看看 Pentreath 是怎么说的。
-开发达人-
129 0
从跨国投行到开源社区，IBM Spark总工程师Nick Pentreath的传奇经历
阿里云E-MapReduce团队
|
存储 机器学习/深度学习 分布式计算
10月29日社区直播【Spark Shuffle RPMem扩展: 借助持久内存与RDMA加速Spark 数据分析】
介绍如何利用持久化内存与高性能RDMA 网络来加速Spark Shuffle。
阿里云E-MapReduce团队
4332 0
10月29日社区直播【Spark Shuffle RPMem扩展: 借助持久内存与RDMA加速Spark 数据分析】
半截诗
|
3月前
|
存储 编译器 C语言
【C语言篇】数据在内存中的存储（超详细）
浮点数就采⽤下⾯的规则表⽰，即指数E的真实值加上127（或1023），再将有效数字M去掉整数部分的1。
半截诗
378 0
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    如何使用Kafka Connect实现同步RDS binlog数据
  • 2
    梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践
  • 3
    基于Alluxio系统的Spark DataFrame高效存储管理技术
  • 4
    JindoFS概述：云原生的大数据计算存储分离方案
  • 5
    5W1H(六何分析法)全景洞察大数据
  • 6
    Apache Spark 3.0 将内置支持 GPU 调度
  • 7
    Flume NG 简介及配置实战
  • 8
    hive在E-MapReduce集群的实践（二）集群hive参数优化
  • 9
    YARN中的CPU资源隔离-CGroups
  • 10
    E-MapReduce大数据安全实践
  • 1
    基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
    98
  • 2
    【赵渝强老师】部署Hadoop的本地模式
    28
  • 3
    EMR Serverless Spark：一站式全托管湖仓分析利器
    119
  • 4
    降本60% ，阿里云 EMR StarRocks 全新发布存算分离版本
    260
  • 5
    阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse
    122
  • 6
    从数据积累到大模型的智能飞跃，你准备好了吗？
    113
  • 7
    DB-GPT v0.6.0 版本更新，发布六大核心新特性！
    117
  • 8
    云栖实录 | 阿里云 OpenLake 解决方案重磅发布：多模态数据统一纳管、引擎平权联合计算、数据共享统一读写
    282
  • 9
    阿里云 EMR Serverless Spark 版正式开启商业化
    151
  • 10
    小红书 API 接口使用指南：笔记详情数据接口的接入与使用
    455

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • EXTENDING SPARK WITH JAVA AGENTS
  • Spark Streaming At Bing Scale
  • 云服务器ECS内存增强型实例re6全新发布

    • 相关实验场景

    更多
  • 通过FastMR自动拉起大数据集群并运行TPCDS任务
    • 下一篇
    无影云桌面