视频介绍
Spark Shuffle RPMem扩展提供了一个基于PMem 和RDMA 来加速Shuffle的方案，它采用PMem 作为Shuffle的存储介质，利用PMDK 用户态编程库进行数据读写，减小用户态、内核态切换与文件系统开销；用基于RDMA网络协议异构的传输层实现高性能数据传输；还将RDMA直接注册在PMem上，减少内存拷贝。
本次直播介绍如何利用持久化内存与高性能RDMA 网络来加速Spark Shuffle。
讲师介绍：
张建，英特尔亚太研发有限公司大数据部门的软件工程经理，专注于大数据和机器学习中存储方案优化
相关视频
阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。
热门文章
热门讨论
-
阿里封神谈hadoop生态学习之路49601
-
现代流式计算的基石：Google DataFlow18543
-
Spark in action on Kubernetes - Playground搭建与架构浅析13205
-
梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践13486
-
基于Alluxio系统的Spark DataFrame高效存储管理技术12284
-
首次揭秘|为6.4亿人次出行提供无线网络的技术架构10652
-
助力云上开源生态 - 阿里云开源大数据平台的发展11825
-
Flume NG 简介及配置实战9661
-
HAS-插件式Kerberos认证框架8603
-
开源生态的新发展：Apache Spark 3.0、Koala和Delta Lake8728
展开全部
-
Databricks 和 Dataworks 都是一站式的数据分析平台，两者的区别是什么？2088
-
hdfs 文件块过多（1亿）每个datanode 占3000万块(分16G内),某时刻内存陡然增加？616
-
Spark调优数据分布不均是什么意思？529
-
想问下，maxcomputer 创建的SQL脚本 可以用shell 调用运行吗1141
-
阿里云共享块存储和NAS还有OSS的区别是什么呀7760
-
我想问一下阿里云E-MapReduce，为什么会报错这个信息呢？228
-
E-MapReduce有时候遇到 跑hive 任务 跑着 yarn 节点就掉了 如何排查问题？125
-
E-MapReduce和MaxCompute的区别是什么？1998
-
请问hive 的hive-site.xml文件在哪啊1667
-
starocks 访问oss报错 应该怎么处理？398
展开全部
来源圈子
更多
邀请你加入钉钉群聊Apache Spark中国技术交流社区，点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,X7S/0/QcrLMkK7QZ5sw2oTvoYW49u0g5dvGu7PW+sm4=&_dt_no_comment=1&origin=11。</br>
微信公众号：Apache Spark技术交流社区
为 Spark 爱好者提供一个交流技术和传递资讯的平台，在这里你可以掌握大数据计算领域最前沿的资讯，可以与 Spark 技术大牛面对面交流，还有不定期社区福利领取哟～
+ 订阅
相关文章
更多
【Apache Spark】（二）
杭州 Meetup｜ Apache Kyuubi & Celeborn，助力 Spark 拥抱云原生
Apache IoTDB开发系统整合之TsFile-Spark-Connector
Apache IoTDB开发系统整合之Spark IoTDB Connecter
Apache Spark 的基本概念和在大数据分析中的应用
Apache Kyuubi & Celeborn (Incubating) 助力 Spark 拥抱云原生
Apache Celeborn 让 Spark 和 Flink 更快更稳更弹性
RDMA优化整理（一）
推动学术与产业界融合 第五届大学生RDMA编程挑战赛完美收官
第二届全国大学生RDMA编程挑战赛开赛