国内首个大数据平台性能标准制定完成

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

今天越来越多的企业认识到,大数据的掌控和分析能力将成为竞争力的核心,企业对大数据的投资也在不断扩大。Gartner调查显示,73%的企业计划在未来两年内投资大数据。以开源Hadoop、Spark等为基础的大数据基础平台解决方案和云服务如雨后春笋不断涌现,形成了近200亿美元的市场规模。然而对于很多企业用户来说,如何评价一个大数据平台的综合能力,常常是选型、平台建设和系统优化时面临的一大挑战。目前来看,国内外还缺乏一套能体现大数据特点,又简便易行,且被工业界广泛认可的大数据平台性能测试标准与工具。


记者日前从数据中心联盟(www.dca.org.cn)获悉,国内第一个大数据产品和服务基准测试规范《大数据平台基准测试技术要求》已经制定完成,将于2015年1月底公开发布。与该规范配套的评测工具源代码也将同期发布,并移交开源社区持续开发。


该基准测试规范的主要评价对象主要包括以下三类:

  • 大数据软件平台(如基于开源Hadoop、Spark平台的商业软件)、

  • 大数据软硬一体机

  • 云端大数据服务




规范根据大数据特点,精选了NoSQL、离线分析和实时交互分析等最具代表性的21个基本负载,能够考核平台在计算密集、I/O密集和混合任务等不同场景的表现。标准规定了数据生成、负载选择、测试指标、用例执行和测试配置。标准还从用户角度出发定义了多个维度的指标,不仅有基本的吞吐量质保,还有能耗、压力、扩展性、容错能力等多方面的指标,这些指标都是用户在选型和采购最关注的。


数据中心联盟常务副理事长何宝宏把基准测试形象的比喻为“公平秤”,他说:“我们设计测试基准的过程是开放的,大家平等参与,可信云和绿色数据中心相关标准制定都采用了这种方式,这些标准已经得到广泛认可。接下来需要按标准开发工具,我们会以开放源代码的方式把‘大数据公平秤’制造出来,并且免费交给厂商和用户使用,组织大家一起完善,这样买卖双方心里都有数,提高彼此的信任度。”“下一步,我们也将为可信云和绿色数据中心等标准,开发一系列开源的公平秤,欢迎业界一起参与贡献自己的力量。”


据了解,该规范是由该规范由中国信息通信研究院(原工业和信息化部电信研究院)牵头,联合中科院计算所、华为、中国移动、Intel、微软、IBM、新浪、百度、阿里、腾讯、浪潮、世纪互联、UCould等国内外知名公司和科研机构共同制定,囊括了国内外主流大数据产品与服务提供商。


数据中心联盟大数据工作组组长魏凯透露说:“联盟作为第三方行业组织,计划于2015年第一季度启动第一轮评测活动,并公开发布测试结果。此次测试活动是不仅国内大数据厂商水平的首次展示,通过这样的测试也可以减少厂商一些重复的、不必要的POC测试。”


据悉,下一步数据中心联盟将逐步吸纳行业典型应用场景,丰富测试用例和测试数据模型,形成覆盖Hadoop/Spark、MPP、NoSQL等多种产品与服务、面向电信、金融、政务等多个行业的“端到端”测试基准。长远目标是以基准测试工作为纽带,在大数据行业用户与平台供应商之间构建交流合作桥梁,加速大数据技术与行业深度融合。


【新闻连接:数据中心联盟是由工信部通 信发展司指导,中国信息通信研究院(原工信部电信研究院)联合国内外互联网企业、电信运营商、软硬件制造商等单位共同发起组建的,成立于2014年1月16日,目前共有会员单位93家。联盟设有可信云、政府采购、IT基础设施、绿色节能、大数据等8个工作组和研究组,以及负责天蝎服务器和数据中心微模块等工作的开放数据中心委员会



原文发布时间为:2014-12-28

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
4月前
|
存储 分布式计算 Java
Java 大视界 -- Java 大数据在智能建筑能耗监测与节能策略制定中的应用(182)
本文探讨了Java大数据技术在智能建筑能耗监测与节能策略制定中的关键应用。通过Hadoop、Spark等技术实现能耗数据的存储、分析与可视化,结合实际案例,展示了Java大数据如何助力建筑行业实现节能减排目标。
|
6月前
|
负载均衡 算法 关系型数据库
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
本文聚焦 MySQL 集群架构中的负载均衡算法,阐述其重要性。详细介绍轮询、加权轮询、最少连接、加权最少连接、随机、源地址哈希等常用算法,分析各自优缺点及适用场景。并提供 Java 语言代码实现示例,助力直观理解。文章结构清晰,语言通俗易懂,对理解和应用负载均衡算法具有实用价值和参考价值。
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
|
4月前
|
存储 Java 大数据
Java 大视界 -- Java 大数据在智能家居能源消耗模式分析与节能策略制定中的应用(198)
简介:本文探讨Java大数据技术在智能家居能源消耗分析与节能策略中的应用。通过数据采集、存储与智能分析,构建能耗模型,挖掘用电模式,制定设备调度策略,实现节能目标。结合实际案例,展示Java大数据在智能家居节能中的关键作用。
|
5月前
|
存储 缓存 分布式计算
OSS大数据分析集成:MaxCompute直读OSS外部表优化查询性能(减少数据迁移的ETL成本)
MaxCompute直读OSS外部表优化方案,解决传统ETL架构中数据同步延迟高、传输成本大、维护复杂等问题。通过存储格式优化(ORC/Parquet)、分区剪枝、谓词下推与元数据缓存等技术,显著提升查询性能并降低成本。结合冷热数据分层与并发控制策略,实现高效数据分析。
137 2
|
存储 大数据 测试技术
用于大数据分析的数据存储格式:Parquet、Avro 和 ORC 的性能和成本影响
在大数据环境中,数据存储格式直接影响查询性能和成本。本文探讨了 Parquet、Avro 和 ORC 三种格式在 Google Cloud Platform (GCP) 上的表现。Parquet 和 ORC 作为列式存储格式,在压缩和读取效率方面表现优异,尤其适合分析工作负载;Avro 则适用于需要快速写入和架构演化的场景。通过对不同查询类型(如 SELECT、过滤、聚合和联接)的基准测试,本文提供了在各种使用案例中选择最优存储格式的建议。研究结果显示,Parquet 和 ORC 在读取密集型任务中更高效,而 Avro 更适合写入密集型任务。正确选择存储格式有助于显著降低成本并提升查询性能。
1389 1
用于大数据分析的数据存储格式:Parquet、Avro 和 ORC 的性能和成本影响
|
11月前
|
机器学习/深度学习 分布式计算 数据挖掘
MaxFrame 性能评测:阿里云MaxCompute上的分布式Pandas引擎
MaxFrame是一款兼容Pandas API的分布式数据分析工具,基于MaxCompute平台,极大提升了大规模数据处理效率。其核心优势在于结合了Pandas的易用性和MaxCompute的分布式计算能力,无需学习新编程模型即可处理海量数据。性能测试显示,在涉及`groupby`和`merge`等复杂操作时,MaxFrame相比本地Pandas有显著性能提升,最高可达9倍。适用于大规模数据分析、数据清洗、预处理及机器学习特征工程等场景。尽管存在网络延迟和资源消耗等问题,MaxFrame仍是处理TB级甚至PB级数据的理想选择。
227 6
|
12月前
|
关系型数据库 分布式数据库 数据库
PolarDB 以其出色的性能和可扩展性,成为大数据分析的重要工具
在数字化时代,企业面对海量数据的挑战,PolarDB 以其出色的性能和可扩展性,成为大数据分析的重要工具。它不仅支持高速数据读写,还通过数据分区、索引优化等策略提升分析效率,适用于电商、金融等多个行业,助力企业精准决策。
291 4
|
12月前
|
存储 大数据 数据管理
大数据分区提高查询性能
大数据分区提高查询性能
327 2
|
存储 负载均衡 大数据
大数据水平分区提高查询性能
【11月更文挑战第2天】
211 4
|
存储 大数据 数据挖掘
【数据新纪元】Apache Doris:重塑实时分析性能,解锁大数据处理新速度,引爆数据价值潜能!
【9月更文挑战第5天】Apache Doris以其卓越的性能、灵活的架构和高效的数据处理能力,正在重塑实时分析的性能极限,解锁大数据处理的新速度,引爆数据价值的无限潜能。在未来的发展中,我们有理由相信Apache Doris将继续引领数据处理的潮流,为企业提供更快速、更准确、更智能的数据洞察和决策支持。让我们携手并进,共同探索数据新纪元的无限可能!
440 11

热门文章

最新文章