视频介绍
Spark Shuffle RPMem扩展提供了一个基于PMem 和RDMA 来加速Shuffle的方案，它采用PMem 作为Shuffle的存储介质，利用PMDK 用户态编程库进行数据读写，减小用户态、内核态切换与文件系统开销；用基于RDMA网络协议异构的传输层实现高性能数据传输；还将RDMA直接注册在PMem上，减少内存拷贝。
本次直播介绍如何利用持久化内存与高性能RDMA 网络来加速Spark Shuffle。
讲师介绍：
张建，英特尔亚太研发有限公司大数据部门的软件工程经理，专注于大数据和机器学习中存储方案优化
相关视频
阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。
热门文章
热门讨论
-
分布式快照算法: Chandy-Lamport23610
-
现代流式计算的基石：Google DataFlow18456
-
JindoFS: 云上大数据的高性能数据湖存储方案16385
-
梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践13472
-
基于Alluxio系统的Spark DataFrame高效存储管理技术12274
-
JindoFS概述：云原生的大数据计算存储分离方案23165
-
Apache Spark 3.0 将内置支持 GPU 调度10536
-
【译】用SQL统一所有：一种有效的、语法惯用的流和表管理方法8367
-
HAS-插件式Kerberos认证框架8575
-
开源生态的新发展：Apache Spark 3.0、Koala和Delta Lake8716
展开全部
-
hdfs 文件块过多（1亿）每个datanode 占3000万块(分16G内),某时刻内存陡然增加？561
-
大佬，可以请教下，有没有遇到 com.aliyun.oss1206
-
数据湖要考虑的首要问题是什么？1478
-
想问下，maxcomputer 创建的SQL脚本 可以用shell 调用运行吗1112
-
阿里云Data bricks数据洞察(DDI)架构是什么？1050
-
emr目前和max compute是竟品吗？上线业务该怎么选？475
-
spark sql 使用row_number 出现oom1417
-
sprak是什么718
-
Data Lake Delta 不同点有什么？908
-
Spark调优数据分布不均是什么意思？1553
展开全部
来源圈子
更多
邀请你加入钉钉群聊Apache Spark中国技术交流社区，点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,X7S/0/QcrLMkK7QZ5sw2oTvoYW49u0g5dvGu7PW+sm4=&_dt_no_comment=1&origin=11。</br>
微信公众号：Apache Spark技术交流社区
为 Spark 爱好者提供一个交流技术和传递资讯的平台，在这里你可以掌握大数据计算领域最前沿的资讯，可以与 Spark 技术大牛面对面交流，还有不定期社区福利领取哟～
+ 订阅