打破TPCx-BB测试记录又怎样,会玩Hadoop大数据应用吗?

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

随着移动互联网的快速发展,数据量急剧膨胀,新经济模式下,如何从积累的海量数据中挖掘出新的价值,支撑企业及社会发展,是当前大数据大热的内在驱动力。大数据应用所需要的IT设施的计算资源、存储资源越来越大,但目前很多处于探索期的大数据应用能否最终挖掘出价值也需持续的投入与不断尝试,如何以更快、更省的方式捕捉到大数据的业务商机,是大数据应用企业不得不考虑的现实问题。

大数据应用一般采用Hadoop数据库,主要得益于其在数据提取、转换和加载(ETL)方面上的天然优势。Hadoop的分布式架构,将大数据处理引擎尽可能的靠近存储,其最核心的设计就是分布式文件系统(Hadoop Distributed File System,简称HDFS)和MapReduce。HDFS为海量的数据提供了分布式存储,则MapReduce为海量的数据提供了分布式计算。Hadoop实现了将单个任务打碎,并将碎片任务(Map)发送到多个节点上,之后再以单个数据集的形式加载(Reduce)到HDFS里,从而充分利用云化的计算与存储资源,高效完成大数据应用中的业务逻辑处理流程。 

TPCx-BB基准测试

TPCx-BB是国际标准组织TPC制定的衡量基于Hadoop的大数据系统的性能基准测试标准TPC Benchmark Express-BigBench的简称,华为香农实验室得益于DC3.0项目积累的丰富大数据底层技术及应用研究经验,是此标准的重要贡献者之一,也是唯一参与此标准制定的中国公司。此性能测试指标排名在工业和商业领域中具有很大的影响力。

TPCx-BB测试通过模拟零售商的30个应用场景,执行30个查询算法来衡量基于Hadoop大数据系统的服务器软硬件性能,其中一些场景还用到了当前热门的机器学习算法,如K-Means、Naive Bayes等。TPCx-BB的测试结果,可以全面准确的反映大数据系统端到端的整体运行性能。

TPCx-BB测试的负载特征:

l涉及结构化、半结构化和非结构化数据类型;

l30项用例模拟,大数据处理、分析与报表生成;

l包含短时间(数秒)与长时间(数小时)的大数据任务运行;

l多种数据集规模的灵活扩展;

l并行线程支持不同特点的多个Job运行在单个集群上并支持节点扩展;

l性能和价格指标提供了有意义的性能与成本洞察;

l支持基于MapReduce、Spark及Tez的Hive的灵活性并扩展覆盖未来其他框架。

TPCx-BB测试结果评估指标:

lBig Bench 每分钟查询 (BBQpm),该指标反映了在三个测试阶段(负载测试、能力测试、吞吐量测试),并行运行多个作业测试出的大数据应用集群的性能效率。

l价格性能比(Price/BBQpm),该指标反映了取得单位性能的成本投入,主要衡量的是性价比。

华为FusionServer 2288H V3测试情况

 打破TPCx-BB测试记录又怎样,会玩Hadoop大数据应用吗?

此次华为FusionServer 2288H V3重点参与了TPCx-BB@3000的测试(3000表示测试数据量为3TB),组网图见上。具体测试结果如下:

打破TPCx-BB测试记录又怎样,会玩Hadoop大数据应用吗?打破TPCx-BB测试记录又怎样,会玩Hadoop大数据应用吗?

详细测试数据可以访问如下TPC官方网站进行查询了解:

http://www.tpc.org/tpcx-bb/results/tpcxbb_perf_results.asp

通过此次测试结果可以看到,华为FusionServer 2288H V3在基于Hadoop的大数据应用中,性能及性价比在2路x86机架服务器中处于领先地位,显示出了华为服务器强大的硬件性能及出色的软硬一体化调优能力。华为近期推出的可支持12及24个NVMe SSD硬盘的2288H V3的升级版,进一步突破服务器的IO性能瓶颈,提升了服务器的整体性能。华为FusionServer 2288H V3是互联网、电信、金融、能源等行业构建大数据应用计算平台的最佳选择。

华为FusionSever服务器

  • 高性能

华为FusionServer 2288H V3,配备2颗英特尔®至强™E5-2600 v3/v4系列CPU,最大单处理器可达22核,提供强大的计算性能;支持24条DDR4内存插槽及4/12/24个NVMe SSD硬盘;支持16个3.5英寸或28个2.5英寸硬盘的超大本地存储空间。

  • 高可靠

华为FusionServer服务器元器件采用降额设计,独特高效散热设计,严苛测试流程,保障极限情况下设备可靠性,实现40℃环温长期稳定运行,同时整体故障率低于业界15%。

  • 高能效

在能耗管理上,采用华为特有DEMT动态能耗管理技术,96%转换效率的钛金电源,实现精确的处理器功耗管理、风扇调速等电源管理技术,毫瓦必省。

  • 管理便捷

华为FusionServer服务器同时提供方便快捷的管理和维护,独立的iBMC管理模块提供SOL、远程KVM、远程开关机等管理功能及uMate等批量运维工具,易于管理。

根据Gartner的统计数据,截至2016年第3季度,华为服务器出货量排名全球前三(不含塔式),增长率全球第一。华为服务器已服务于全球超过5000家客户,涵盖政府及公共事业、互联网、电信、能源、金融、交通、医疗、教育、媒资、制造等行业。



原文发布时间为: 2017年2月10日

本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
3月前
|
监控 安全 Shell
管道符在渗透测试与网络安全中的全面应用指南
管道符是渗透测试与网络安全中的关键工具,既可用于高效系统管理,也可能被攻击者利用实施命令注入、权限提升、数据外泄等攻击。本文全面解析管道符的基础原理、实战应用与防御策略,涵盖Windows与Linux系统差异、攻击技术示例及检测手段,帮助安全人员掌握其利用方式与防护措施,提升系统安全性。
185 6
|
6月前
|
存储 人工智能 测试技术
HarmonyOS Next~HarmonyOS应用测试全流程解析:从一级类目上架到二级类目专项测试
本文深入解析HarmonyOS应用测试全流程,涵盖从一级类目通用测试到二级类目专项测试的技术方案。针对兼容性、性能、安全测试及分布式能力验证等关键环节,提供详细实践指导与代码示例。同时,结合典型案例分析常见问题及优化策略,帮助开发者满足华为严苛的质量标准,顺利上架应用。文章强调测试在开发中的核心地位,助力打造高品质HarmonyOS应用。
340 2
|
2月前
|
人工智能 数据可视化 测试技术
AI 时代 API 自动化测试实战:Postman 断言的核心技巧与实战应用
AI 时代 API 自动化测试实战:Postman 断言的核心技巧与实战应用
452 11
|
3月前
|
机器学习/深度学习 存储 分布式计算
Java 大视界 --Java 大数据机器学习模型在金融风险压力测试中的应用与验证(211)
本文探讨了Java大数据与机器学习模型在金融风险压力测试中的创新应用。通过多源数据采集、模型构建与优化,结合随机森林、LSTM等算法,实现信用风险动态评估、市场极端场景模拟与操作风险预警。案例分析展示了花旗银行与蚂蚁集团的智能风控实践,验证了技术在提升风险识别效率与降低金融风险损失方面的显著成效。
|
3月前
|
人工智能 IDE 测试技术
Browser-Use在UI自动化测试中的应用
Browser-Use是一款浏览器自动化工具,具备视觉与HTML解析、多标签管理、操作记录与复现、自定义操作、自我纠正及并行执行等功能,助力AI智能体高效完成网页任务。
307 0
|
8月前
|
存储 分布式计算 Hadoop
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
393 79
|
6月前
|
安全 测试技术 Linux
Flawnter 5.9.1 (macOS, Linux, Windows) - 应用程序安全测试软件
Flawnter 5.9.1 (macOS, Linux, Windows) - 应用程序安全测试软件
224 2
Flawnter 5.9.1 (macOS, Linux, Windows) - 应用程序安全测试软件
|
6月前
|
测试技术 数据库 Python
解释测试中setup和teardown函数的应用。
总结起来,`setup`和 `teardown`函数就像扔宴会的主人,他们保障了宴会的流畅进行。他们是准备环境和清理现场的重要工作人员,他们的工作直接影响着我们的测试效率和质量。我们可以把 `setup`和 `teardown`想象成隐藏在幕后,默默为我们服务的工作者,他们做着我们需要但是往往忽视的工作。所以,下次当你写测试的时候,别忘了给你的 `setup`和 `teardown`留出足够的位置,因为他们的作用可能是你成功的保证。
146 14
|
11月前
|
Java 测试技术 数据安全/隐私保护
软件测试中的自动化策略与工具应用
在软件开发的快速迭代中,自动化测试以其高效、稳定的特点成为了质量保证的重要手段。本文将深入探讨自动化测试的核心概念、常见工具的应用,以及如何设计有效的自动化测试策略,旨在为读者提供一套完整的自动化测试解决方案,帮助团队提升测试效率和软件质量。
|
6月前
|
存储 5G 测试技术
时钟同步测试校验仪的应用介绍
时间同步测试仪是一种高精度、高可靠性的设备,用于测量和评估时间同步系统的性能。它广泛应用于电力系统(如电网调度、继电保护)、通信网络(如5G基站、光传输网络)、铁路交通(如列车运行控制、信号系统)、工业自动化(如生产线、控制系统)以及科学研究(如天文观测、粒子物理实验)等领域。其功能包括高精度时间测量、多信号接口支持、自动测量与分析、数据存储导出及性能评估输出,确保各领域设备间的时间同步精度与稳定性,保障系统高效运行。

热门文章

最新文章

相关实验场景

更多