备案控制台

开发者社区

开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 视频 > 正文

利用持久内存提速Spark

发布者：Dev-Talk 2020-09-09 11:51:50 1166

Dev-Talk

+关注

视频介绍

主要探讨如何在Spark上使用持久内存这一新技术来进一步提速性能。具体会介绍基于Plasma的共享内存方案来提速SQL数据源访问的性能以及利用持久内存扩展Spark现有内存磁盘存储层级来提速RDD cache在迭代式计算中的效果。

讲师介绍：

纪琨尚，英特尔亚太研发有限公司大数据部门的软件工程师，专注于Spark计算框架上基于Optane PMEM的优化
叶宇强，英特尔亚太研发有限公司大数据部门的资深软件工程师，专注于Spark计算框架上基于Optane PMEM的优化

关键词：

polardb内存

polardb cpu内存

内存实例

内存数据库

内存集群

相关视频

大数据与机器学习

开源大数据平台 E-MapReduce

+关注

阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

热门文章

热门讨论

现代流式计算的基石：Google DataFlow

JindoFS解析 - 云上大数据高性能数据湖存储方案

如何在Aliyun E-MapReduce集群上使用Zeppelin和Hue

JindoFS概述：云原生的大数据计算存储分离方案

助力云上开源生态 - 阿里云开源大数据平台的发展

在 Apache Spark 中利用 HyperLogLog 函数实现高级分析

从数砖开源 Delta Lake 说起

Apache Spark 3.0 将内置支持 GPU 调度

HBase写性能优化

YARN中的CPU资源隔离-CGroups

展开全部

Cosco的优势是什么？

阿里云E-MapReduce查看刷新物化视图任务是失败状态，如何解决？

如何使用DDI+Confluent进行实时数据采集入湖和分析？

大佬，可以请教下，有没有遇到 com.aliyun.oss

StarRocks有字符集的概念吗？有utf8和utf8mb4吗？有字符集的概念吗？有utf8和ut

Spark3.0在实时数仓易用性方面有何提升吗？例如读取binlog写入delta lake

Databricks 和 Dataworks 都是一站式的数据分析平台，两者的区别是什么？

请问各位有遇到这样的情况吗？

spark3.0 在实时性和flink差异大吗？

如果开传奇，同时在线4-5个版本需要什么配置云服务器多少带宽

展开全部

+关注

Dev-Talk

文章

问答

视频

来源圈子

更多

Apache Spark 中国技术社区

4459

邀请你加入钉钉群聊Apache Spark中国技术交流社区，点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,X7S/0/QcrLMkK7QZ5sw2oTvoYW49u0g5dvGu7PW+sm4=&_dt_no_comment=1&origin=11。</br> 微信公众号：Apache Spark技术交流社区为 Spark 爱好者提供一个交流技术和传递资讯的平台，在这里你可以掌握大数据计算领域最前沿的资讯，可以与 Spark 技术大牛面对面交流，还有不定期社区福利领取哟～

+ 订阅

相关产品

开源大数据平台 E-MapReduce

文档详情产品详情

相关文章

更多

Spark 图计算实战 [实战系列]SelectDB Cloud Spark Connector 最佳实践 Spark SQL实战(08)-整合Hive Spark SQL实战(07)-Data Sources Spark SQL实战(06)-RDD与DataFrame的互操作 Spark SQL实战(04)-API编程之DataFrame 日志分析实战之清洗日志小实例3：如何在spark shell中导入自定义包日志分析实战之清洗日志小实例1：使用spark&Scala分析Apache日志《Apache Spark 中文实战攻略下册》电子版《Apache Spark 中文实战攻略上册》下载地址