备案控制台
探索云世界
开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 视频 > 正文

Spark Shuffle RPMem扩展: 借助持久内存与RDMA加速Spark 数据分析

发布者：Dev-Talk 2020-10-26 15:52:00 1843
Dev-Talk
+关注
视频介绍

Spark Shuffle RPMem扩展提供了一个基于PMem 和RDMA 来加速Shuffle的方案，它采用PMem 作为Shuffle的存储介质，利用PMDK 用户态编程库进行数据读写，减小用户态、内核态切换与文件系统开销；用基于RDMA网络协议异构的传输层实现高性能数据传输；还将RDMA直接注册在PMem上，减少内存拷贝。
本次直播介绍如何利用持久化内存与高性能RDMA 网络来加速Spark Shuffle。

讲师介绍：

张建，英特尔亚太研发有限公司大数据部门的软件工程经理，专注于大数据和机器学习中存储方案优化

关键词：
内存malloc
内存free
内存free calloc realloc
内存free calloc
内存free realloc
相关视频
大数据与机器学习
开源大数据平台 E-MapReduce
+关注
阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。
热门文章
热门讨论
阿里封神谈hadoop生态学习之路
48537
JindoFS: 云上大数据的高性能数据湖存储方案
16087
HBase写性能优化
8085
E-MapReduce的HBase集群使用Hue
7121
从数砖开源 Delta Lake 说起
6296
开源大数据周刊-第19期
3911
开源大数据周刊-第58期
2163
[转载] Spark Structed Streaming执行过程
2451
开源大数据周刊-第106期
1704
2013年北京hadoop in china见闻
1678
展开全部
阿里云E-MapReduce读写 oss 文件时，api 的调用次数和文件层级有关系吗？
16
阿里云共享块存储和NAS还有OSS的区别是什么呀
7559
阿里云E-MapReduce这个CU用完啦 需要购买吗？
15
大佬，可以请教下，有没有遇到 com.aliyun.oss
970
请问hive 的hive-site.xml文件在哪啊
1470
阿里云E-MapReduce公司最近Presto所在的服务器，请问这种问题各位有遇到过吗？
33
阿里云E-MapReduce中Nootbook什么时候可以上文件夹功能？
12
阿里云E-MapReduce后期可能会做类似jupyterhub的账户隔离管理的工作吗？
11
EMR中如何申请开通doctor，添了表格好像没有打电话？
117
"E-MapReduce这些异常都是什么原因导致的？
45
展开全部
+关注
Dev-Talk
文章
问答
视频
来源圈子
更多
Apache Spark 中国技术社区
4459
邀请你加入钉钉群聊Apache Spark中国技术交流社区，点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,X7S/0/QcrLMkK7QZ5sw2oTvoYW49u0g5dvGu7PW+sm4=&_dt_no_comment=1&origin=11。</br> 微信公众号：Apache Spark技术交流社区 为 Spark 爱好者提供一个交流技术和传递资讯的平台，在这里你可以掌握大数据计算领域最前沿的资讯，可以与 Spark 技术大牛面对面交流，还有不定期社区福利领取哟～
+ 订阅

相关产品

  • 开源大数据平台 E-MapReduce
    文档详情 产品详情
    • 相关文章
    更多
    大数据学习资料下载，新手攻略，数据分析工具、软件使用教程 数据分析软件SPSS22的授权及汉化 网络“投毒”系列报告：全国多省软件升级劫持攻击事件数据分析 NetApp闪存推出新软件剑指数据分析 关于数据分析软件市场，这八大苗头才是真正的大势所趋！ 游击式大数据软件使农民的数据分析速度加快了五倍 《数据分析实战:基于EXCEL和SPSS系列工具的实践》一2.2　选择称手的软件工具 《Python数据分析》一第1章 Python程序库入门1.1 本书用到的软件 数据分析师成长之路-软件篇 BI 商务智能软件 数据分析