神龙大数据加速引擎MRACC问题之MRACC-Spark利用eRDMA近网络优化插件来提升性能如何解决

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 神龙大数据加速引擎MRACC问题之MRACC-Spark利用eRDMA近网络优化插件来提升性能如何解决

问题一:MRACC-Spark如何利用eRDMA近网络优化插件来提升性能?


MRACC-Spark如何利用eRDMA近网络优化插件来提升性能?


参考回答:

MRACC-Spark通过eRDMA近网络优化插件,将shuffle阶段的数据交换优化为memory-network-memory的模式,充分利用了RDMA的低延时和低CPU消耗特性,最终在TPCxhs等端到端benchmark上获得了30%的性能提升。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/666815



问题二:在TPCDS 10T数据集上,MRACC相比最新的Spark3.1版本性能提升了多少?


在TPCDS 10T数据集上,MRACC相比最新的Spark3.1版本性能提升了多少?


参考回答:

在TPCDS 10T数据集上,MRACC相比最新的Spark3.1版本性能提升了2.19倍。在TPCx-BB上相比第二名领先高达41.6%。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/666816



问题三:阿里云是如何将这些优化成果交付给客户的?


阿里云是如何将这些优化成果交付给客户的?


参考回答:

阿里云将这些优化成果封装成插件形式交付给客户,客户代码基本上不需要修改,就能直接享受到性能提升带来的好处,这极大地方便了客户的使用。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/666817



问题四:请简述TPCx-BB测试基准的意义和特点。


请简述TPCx-BB测试基准的意义和特点。


参考回答:

TPCx-BB是由国际标准化测试权威组织(TPC)发布的基于零售业场景构建的端到端大数据测试基准,具有数据量大、特征复杂、来源复杂等特点,与真实业务场景较为接近。其测试结果能够全面准确地反映端到端的大数据系统的整体运行性能,包括软硬件性能、性价比、服务和功耗等各个方面,对各行业的基础设施选型具有重要参考意义。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/666819


问题五:在SaaS模式云数据仓库的现代化建设中,为什么SaaS化成为必然趋势?


在SaaS模式云数据仓库的现代化建设中,为什么SaaS化成为必然趋势?


参考回答:

在SaaS模式云数据仓库的现代化建设中,SaaS化成为必然趋势,因为它能够提供更灵活、更便捷、更低成本的数据仓库解决方案,满足企业快速响应市场变化、提升数据价值的需求。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/666823

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
1月前
|
机器学习/深度学习 大数据 关系型数据库
基于python大数据的青少年网络使用情况分析及预测系统
本研究基于Python大数据技术,构建青少年网络行为分析系统,旨在破解现有防沉迷模式下用户画像模糊、预警滞后等难题。通过整合多平台亿级数据,运用机器学习实现精准行为预测与实时干预,推动数字治理向“数据驱动”转型,为家庭、学校及政府提供科学决策支持,助力青少年健康上网。
|
2月前
|
分布式计算 安全 大数据
别等被黑客敲门才醒悟:大数据如何帮你防住网络攻击?
别等被黑客敲门才醒悟:大数据如何帮你防住网络攻击?
165 32
|
6月前
|
监控 数据可视化 大数据
Axure设计的“广东省网络信息化大数据平台”数据可视化大屏
本文介绍由Axure设计的“广东省网络信息化大数据平台”数据可视化大屏。大屏分为左中右三区域,共九个模块,涵盖设备占比、数据异常、地市排名、关键指标、地图分布、订单信息等。通过环形图、柱状图、饼图等多种图表形式,将复杂数据直观呈现,助力决策者全面掌握数据动态,推动广东省网络信息化建设发展。
618 135
|
6月前
|
消息中间件 分布式计算 监控
从InfluxDB到StarRocks:Grab实现Spark监控平台10倍性能提升
Grab 是东南亚领先的超级应用,其 Spark 可观测平台 Iris 核心存储迁移到 StarRocks 后性能显著提升。新架构统一了实时与历史数据分析,减少多平台切换复杂性,查询速度提升 10 倍以上,资源使用效率提高 40%。通过物化视图、动态分区和直接 Kafka 摄取数据等优化,简化数据管道并降低运维成本。未来 Grab 将进一步增强推荐系统、集成机器学习,持续优化用户体验与系统可扩展性。
|
7月前
|
大数据
“你朋友圈的真面目,大数据都知道!”——用社交网络分析看透人情世故
“你朋友圈的真面目,大数据都知道!”——用社交网络分析看透人情世故
274 16
|
10月前
|
SQL 分布式计算 Java
Spark SQL向量化执行引擎框架Gluten-Velox在AArch64使能和优化
本文摘自 Arm China的工程师顾煜祺关于“在 Arm 平台上使用 Native 算子库加速 Spark”的分享,主要内容包括以下四个部分: 1.技术背景 2.算子库构成 3.算子操作优化 4.未来工作
1349 0
|
分布式计算 监控 大数据
如何优化Spark中的shuffle操作?
【10月更文挑战第18天】
|
存储 分布式计算 监控
Spark如何优化?需要注意哪些方面?
【10月更文挑战第10天】Spark如何优化?需要注意哪些方面?
191 6
|
分布式计算 Java 大数据
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
173 0
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
|
SQL 分布式计算 大数据
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
172 0

热门文章

最新文章