AI 助理
备案控制台
开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 视频 > 正文

利用持久内存提速Spark

发布者：Dev-Talk 2020-09-09 11:51:50 1261
Dev-Talk
+关注
视频介绍

主要探讨如何在Spark上使用持久内存这一新技术来进一步提速性能。具体会介绍基于Plasma的共享内存方案来提速SQL数据源访问的性能以及利用持久内存扩展Spark现有内存磁盘存储层级来提速RDD cache在迭代式计算中的效果。

讲师介绍：

纪琨尚，英特尔亚太研发有限公司大数据部门的软件工程师，专注于Spark计算框架上基于Optane PMEM的优化
叶宇强，英特尔亚太研发有限公司大数据部门的资深软件工程师，专注于Spark计算框架上基于Optane PMEM的优化

关键词：
内存方案
内存解决方案
内存硬件
栈内存
调优内存
相关视频
大数据与机器学习

开源大数据平台 E-MapReduce
+关注

阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

热门文章

热门讨论

展开全部
展开全部
+关注
Dev-Talk
文章
问答
视频
来源圈子
更多
Apache Spark 中国技术社区
4459
邀请你加入钉钉群聊Apache Spark中国技术交流社区，点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,X7S/0/QcrLMkK7QZ5sw2oTvoYW49u0g5dvGu7PW+sm4=&_dt_no_comment=1&origin=11。</br> 微信公众号：Apache Spark技术交流社区 为 Spark 爱好者提供一个交流技术和传递资讯的平台，在这里你可以掌握大数据计算领域最前沿的资讯，可以与 Spark 技术大牛面对面交流，还有不定期社区福利领取哟～
+ 订阅

相关产品

  • 开源大数据平台 E-MapReduce
    文档详情 产品详情
    • 相关文章
    更多
    C语言----数据在内存中的存储（1） 数据在内存中的存储 数据在内存中的存储（2） 数据在内存中的存储（1） Java一分钟之-Hazelcast：内存数据网格 实时计算 Flink版产品使用问题之 从Kafka读取数据，并与两个仅在任务启动时读取一次的维度表进行内连接（inner join）时，如果没有匹配到的数据会被直接丢弃还是会被存储在内存中 【C语言基础】：数据在内存中的存储 C语言学习记录——数据的存储（数据类型、类型的基本归类、整型在内存中的存储、大小端介绍、浮点型在内存中的存储）二 C语言学习记录——数据的存储（数据类型、类型的基本归类、整型在内存中的存储、大小端介绍、浮点型在内存中的存储）一 了解Redis，第一弹，什么是RedisRedis主要适用于分布式系统，用来用缓存，存储数据，在内存中存储那么为什么说是分布式呢？什么叫分布式什么是单机架构微服务架构微服务的本质