打破TPCx-BB测试记录又怎样,会玩Hadoop大数据应用吗?

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

随着移动互联网的快速发展,数据量急剧膨胀,新经济模式下,如何从积累的海量数据中挖掘出新的价值,支撑企业及社会发展,是当前大数据大热的内在驱动力。大数据应用所需要的IT设施的计算资源、存储资源越来越大,但目前很多处于探索期的大数据应用能否最终挖掘出价值也需持续的投入与不断尝试,如何以更快、更省的方式捕捉到大数据的业务商机,是大数据应用企业不得不考虑的现实问题。

大数据应用一般采用Hadoop数据库,主要得益于其在数据提取、转换和加载(ETL)方面上的天然优势。Hadoop的分布式架构,将大数据处理引擎尽可能的靠近存储,其最核心的设计就是分布式文件系统(Hadoop Distributed File System,简称HDFS)和MapReduce。HDFS为海量的数据提供了分布式存储,则MapReduce为海量的数据提供了分布式计算。Hadoop实现了将单个任务打碎,并将碎片任务(Map)发送到多个节点上,之后再以单个数据集的形式加载(Reduce)到HDFS里,从而充分利用云化的计算与存储资源,高效完成大数据应用中的业务逻辑处理流程。 

TPCx-BB基准测试

TPCx-BB是国际标准组织TPC制定的衡量基于Hadoop的大数据系统的性能基准测试标准TPC Benchmark Express-BigBench的简称,华为香农实验室得益于DC3.0项目积累的丰富大数据底层技术及应用研究经验,是此标准的重要贡献者之一,也是唯一参与此标准制定的中国公司。此性能测试指标排名在工业和商业领域中具有很大的影响力。

TPCx-BB测试通过模拟零售商的30个应用场景,执行30个查询算法来衡量基于Hadoop大数据系统的服务器软硬件性能,其中一些场景还用到了当前热门的机器学习算法,如K-Means、Naive Bayes等。TPCx-BB的测试结果,可以全面准确的反映大数据系统端到端的整体运行性能。

TPCx-BB测试的负载特征:

l涉及结构化、半结构化和非结构化数据类型;

l30项用例模拟,大数据处理、分析与报表生成;

l包含短时间(数秒)与长时间(数小时)的大数据任务运行;

l多种数据集规模的灵活扩展;

l并行线程支持不同特点的多个Job运行在单个集群上并支持节点扩展;

l性能和价格指标提供了有意义的性能与成本洞察;

l支持基于MapReduce、Spark及Tez的Hive的灵活性并扩展覆盖未来其他框架。

TPCx-BB测试结果评估指标:

lBig Bench 每分钟查询 (BBQpm),该指标反映了在三个测试阶段(负载测试、能力测试、吞吐量测试),并行运行多个作业测试出的大数据应用集群的性能效率。

l价格性能比(Price/BBQpm),该指标反映了取得单位性能的成本投入,主要衡量的是性价比。

华为FusionServer 2288H V3测试情况

 打破TPCx-BB测试记录又怎样,会玩Hadoop大数据应用吗?

此次华为FusionServer 2288H V3重点参与了TPCx-BB@3000的测试(3000表示测试数据量为3TB),组网图见上。具体测试结果如下:

打破TPCx-BB测试记录又怎样,会玩Hadoop大数据应用吗?打破TPCx-BB测试记录又怎样,会玩Hadoop大数据应用吗?

详细测试数据可以访问如下TPC官方网站进行查询了解:

http://www.tpc.org/tpcx-bb/results/tpcxbb_perf_results.asp

通过此次测试结果可以看到,华为FusionServer 2288H V3在基于Hadoop的大数据应用中,性能及性价比在2路x86机架服务器中处于领先地位,显示出了华为服务器强大的硬件性能及出色的软硬一体化调优能力。华为近期推出的可支持12及24个NVMe SSD硬盘的2288H V3的升级版,进一步突破服务器的IO性能瓶颈,提升了服务器的整体性能。华为FusionServer 2288H V3是互联网、电信、金融、能源等行业构建大数据应用计算平台的最佳选择。

华为FusionSever服务器

  • 高性能

华为FusionServer 2288H V3,配备2颗英特尔®至强™E5-2600 v3/v4系列CPU,最大单处理器可达22核,提供强大的计算性能;支持24条DDR4内存插槽及4/12/24个NVMe SSD硬盘;支持16个3.5英寸或28个2.5英寸硬盘的超大本地存储空间。

  • 高可靠

华为FusionServer服务器元器件采用降额设计,独特高效散热设计,严苛测试流程,保障极限情况下设备可靠性,实现40℃环温长期稳定运行,同时整体故障率低于业界15%。

  • 高能效

在能耗管理上,采用华为特有DEMT动态能耗管理技术,96%转换效率的钛金电源,实现精确的处理器功耗管理、风扇调速等电源管理技术,毫瓦必省。

  • 管理便捷

华为FusionServer服务器同时提供方便快捷的管理和维护,独立的iBMC管理模块提供SOL、远程KVM、远程开关机等管理功能及uMate等批量运维工具,易于管理。

根据Gartner的统计数据,截至2016年第3季度,华为服务器出货量排名全球前三(不含塔式),增长率全球第一。华为服务器已服务于全球超过5000家客户,涵盖政府及公共事业、互联网、电信、能源、金融、交通、医疗、教育、媒资、制造等行业。



原文发布时间为: 2017年2月10日

本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
敏捷开发 测试技术 持续交付
探索自动化测试在敏捷开发中的应用与挑战
本文深入探讨了自动化测试在现代软件开发流程,特别是敏捷开发环境中的重要作用和面临的挑战。通过分析自动化测试的基本原理、实施策略以及在实际项目中的应用案例,揭示了其在提高软件质量和加速产品交付方面的巨大潜力。同时,文章也指出了自动化测试实施过程中可能遇到的技术难题、成本考量及团队协作问题,并提出了相应的解决策略,为软件开发团队提供了有价值的参考和指导。
|
18天前
|
Java 测试技术 数据安全/隐私保护
软件测试中的自动化策略与工具应用
在软件开发的快速迭代中,自动化测试以其高效、稳定的特点成为了质量保证的重要手段。本文将深入探讨自动化测试的核心概念、常见工具的应用,以及如何设计有效的自动化测试策略,旨在为读者提供一套完整的自动化测试解决方案,帮助团队提升测试效率和软件质量。
|
1月前
|
编解码 测试技术 开发工具
测试 iPhone 应用在不同屏幕尺寸和分辨率下的响应式效果
【10月更文挑战第23天】测试 iPhone 应用在不同屏幕尺寸和分辨率下的响应式效果是确保应用质量和用户体验的重要环节。通过手动测试、自动化测试、视觉效果评估、性能测试、用户体验测试等多种方法的综合运用,能够全面地发现应用在响应式效果方面存在的问题,并及时进行解决和优化。同时,持续的测试和优化也是不断提升应用质量和用户满意度的关键。
|
1月前
|
jenkins 测试技术 持续交付
探索自动化测试在持续集成中的应用与挑战
本文深入探讨了自动化测试在现代软件开发流程,特别是持续集成(CI)环境中的关键作用。通过分析自动化测试的优势、实施策略以及面临的主要挑战,旨在为开发团队提供实用的指导和建议。文章不仅概述了自动化测试的基本原理和最佳实践,还详细讨论了如何克服实施过程中遇到的技术难题和管理障碍,以实现更高效、更可靠的软件交付。
|
24天前
|
机器学习/深度学习 人工智能 测试技术
探索自动化测试框架在软件开发中的应用与挑战##
本文将深入探讨自动化测试框架在现代软件开发过程中的应用,分析其优势与面临的挑战。通过具体案例分析,揭示如何有效整合自动化测试以提升软件质量和开发效率。 ##
|
20天前
|
并行计算 算法 测试技术
C语言因高效灵活被广泛应用于软件开发。本文探讨了优化C语言程序性能的策略,涵盖算法优化、代码结构优化、内存管理优化、编译器优化、数据结构优化、并行计算优化及性能测试与分析七个方面
C语言因高效灵活被广泛应用于软件开发。本文探讨了优化C语言程序性能的策略,涵盖算法优化、代码结构优化、内存管理优化、编译器优化、数据结构优化、并行计算优化及性能测试与分析七个方面,旨在通过综合策略提升程序性能,满足实际需求。
49 1
|
1月前
|
敏捷开发 监控 jenkins
探索自动化测试框架在敏捷开发中的应用与优化##
本文深入探讨了自动化测试框架在现代敏捷软件开发流程中的关键作用,分析了其面临的挑战及优化策略。通过对比传统测试方法,阐述了自动化测试如何加速软件迭代周期,提升产品质量,并针对实施过程中的常见问题提出了解决方案。旨在为读者提供一套高效、可扩展的自动化测试实践指南。 ##
41 9
|
28天前
|
监控 安全 测试技术
如何在实际项目中应用Python Web开发的安全测试知识?
如何在实际项目中应用Python Web开发的安全测试知识?
28 4
|
26天前
|
监控 JavaScript 前端开发
如何在实际应用中测试和比较React和Vue的性能?
总之,通过多种方法的综合运用,可以相对客观地比较 React 和 Vue 在实际应用中的性能表现,为项目的选择和优化提供有力的依据。
33 1
|
1月前
|
自然语言处理 安全 测试技术
基于大模型的应用的测试的一些注意事项
大模型应用测试需注意三大冲突:时间敏感性冲突,即模型数据可能随时间变得过时;数据真实性冲突,指训练数据中可能存在虚假信息,影响模型准确性;数据一致性冲突,表现为模型对语义相同但句法不同的输入反应不一。测试时应针对这些问题设计用例,确保模型性能。
61 4
下一篇
DataWorks