神龙大数据加速引擎MRACC问题之RDMA技术帮助大数据分布式计算优化如何解决

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 神龙大数据加速引擎MRACC问题之RDMA技术帮助大数据分布式计算优化如何解决

问题一:MRACC-Spark在网络和存储方面做了哪些优化?


MRACC-Spark在网络和存储方面做了哪些优化?


参考回答:

MRACC-Spark在网络和存储方面进行了软硬件加速优化。在网络方面,使用eRDMA进行网络加速,降低了shuffle阶段的数据交换延时,提升了CPU利用率。在存储方面,结合云上架构优势,采用缓存、文件裁剪、索引等优化手段,并尝试将压缩等运算卸载到异构器件,提升了整体性能。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/666807



问题二:Spark SQL在MRACC中有哪些特定的优化措施?


Spark SQL在MRACC中有哪些特定的优化措施?


参考回答:

在MRACC中,Spark SQL进行了多项优化,包括但不限于:支持subquery的动态数据裁剪以减少参与计算的数据量;在物理计划执行阶段支持window topn排序以提升包含limit的SQL语句性能;支持parquet rowgroup裁剪、bloom filter join等高级特性;使用遗传算法搜索解决join table过多导致的cbo搜索开销暴增问题;支持去重下推、join外键消除、完整性约束等功能,并结合deltalake支持数据的增删改操作。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/666808



问题三:MRACC-Spark的SQL引擎优化主要体现在哪些方面?


MRACC-Spark的SQL引擎优化主要体现在哪些方面?


参考回答:

MRACC-Spark的SQL引擎优化主要体现在anlyzer、optimizer、planner、Query execution等阶段。其中,针对AE机制进行了扩展,支持了subquery的动态数据裁剪;在物理计划执行阶段,引入了window topn排序、parquet rowgroup裁剪、bloom filter join等特性;同时,针对CBO机制在join table过多时导致的开销问题,引入了遗传算法搜索来优化。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/666809



问题四:阿里云在2021年云栖大会上发布了什么重要架构,并提供了什么独特的加速能力?


阿里云在2021年云栖大会上发布了什么重要架构,并提供了什么独特的加速能力?


参考回答:

阿里云在2021年杭州云栖大会上发布了第四代神龙架构,提供了业界首个大规模弹性RDMA加速能力,这种能力通过RDMA技术实现了低时延、高性能的网络传输,减少了CPU开销。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/666810


问题五:RDMA技术的主要优势是什么?它如何帮助大数据分布式计算优化?


RDMA技术的主要优势是什么?它如何帮助大数据分布式计算优化?


参考回答:

RDMA技术的主要优势在于提供直接内存访问的方式,数据传输bypass Kernel,减少了CPU的开销,并提供了低时延的高性能网络。在大数据分布式计算中,它特别优化了shuffle过程,通过将shuffle数据交换变为memory-network-memory的模式,充分利用了RDMA用户态内存直接交互、低延时、低CPU消耗的特点,从而显著提升了性能。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/666812

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
打赏
0
0
0
0
45
分享
相关文章
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
164 79
大数据项目成功的秘诀——不只是技术,更是方法论!
大数据项目成功的秘诀——不只是技术,更是方法论!
58 8
大数据项目成功的秘诀——不只是技术,更是方法论!
大数据在电子健康记录中的潜力与挑战:一次技术和伦理的深度碰撞
大数据在电子健康记录中的潜力与挑战:一次技术和伦理的深度碰撞
50 12
ACK Gateway with Inference Extension:优化多机分布式大模型推理服务实践
本文介绍了如何利用阿里云容器服务ACK推出的ACK Gateway with Inference Extension组件,在Kubernetes环境中为多机分布式部署的LLM推理服务提供智能路由和负载均衡能力。文章以部署和优化QwQ-32B模型为例,详细展示了从环境准备到性能测试的完整实践过程。
随着云计算和大数据技术的发展,Hyper-V在虚拟化领域的地位日益凸显
随着云计算和大数据技术的发展,Hyper-V在虚拟化领域的地位日益凸显。作为Windows Server的核心组件,Hyper-V具备卓越的技术性能,支持高可用性、动态迁移等功能,确保虚拟机稳定高效运行。它与Windows深度集成,管理便捷,支持远程管理和自动化部署,降低管理成本。内置防火墙、RBAC等安全功能,提供全方位安全保障。作为内置组件,Hyper-V无需额外购买软件,降低成本。其广泛的生态系统支持和持续增长的市场需求,使其成为企业虚拟化解决方案的首选。
大数据基础工程技术团队4篇论文入选ICLR,ICDE,WWW
大数据基础工程技术团队4篇论文入选ICLR,ICDE,WWW
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
阿里云推出的MaxFrame是链接大数据与AI的分布式Python计算框架,提供类似Pandas的操作接口和分布式处理能力。本文从部署、功能验证到实际场景全面评测MaxFrame,涵盖分布式Pandas操作、大语言模型数据预处理及企业级应用。结果显示,MaxFrame在处理大规模数据时性能显著提升,代码兼容性强,适合从数据清洗到训练数据生成的全链路场景...
160 5
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
MaxFrame 产品评测:大数据与AI融合的Python分布式计算框架
MaxFrame是阿里云MaxCompute推出的自研Python分布式计算框架,支持大规模数据处理与AI应用。它提供类似Pandas的API,简化开发流程,并兼容多种机器学习库,加速模型训练前的数据准备。MaxFrame融合大数据和AI,提升效率、促进协作、增强创新能力。尽管初次配置稍显复杂,但其强大的功能集、性能优化及开放性使其成为现代企业与研究机构的理想选择。未来有望进一步简化使用门槛并加强社区建设。
242 7
MaxCompute MaxFrame评测 | 分布式Python计算服务MaxFrame(完整操作版)
在当今数字化迅猛发展的时代,数据信息的保存与分析对企业决策至关重要。MaxCompute MaxFrame是阿里云自研的分布式计算框架,支持Python编程接口、兼容Pandas接口并自动进行分布式计算。通过MaxCompute的海量计算资源,企业可以进行大规模数据处理、可视化数据分析及科学计算等任务。本文将详细介绍如何开通MaxCompute和DataWorks服务,并使用MaxFrame进行数据操作。包括创建项目、绑定数据源、编写PyODPS 3节点代码以及执行SQL查询等内容。最后,针对使用过程中遇到的问题提出反馈建议,帮助用户更好地理解和使用MaxFrame。
MaxFrame 性能评测:阿里云MaxCompute上的分布式Pandas引擎
MaxFrame是一款兼容Pandas API的分布式数据分析工具,基于MaxCompute平台,极大提升了大规模数据处理效率。其核心优势在于结合了Pandas的易用性和MaxCompute的分布式计算能力,无需学习新编程模型即可处理海量数据。性能测试显示,在涉及`groupby`和`merge`等复杂操作时,MaxFrame相比本地Pandas有显著性能提升,最高可达9倍。适用于大规模数据分析、数据清洗、预处理及机器学习特征工程等场景。尽管存在网络延迟和资源消耗等问题,MaxFrame仍是处理TB级甚至PB级数据的理想选择。
109 4

热门文章

最新文章