国内首个大数据平台性能标准制定完成

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介:

今天越来越多的企业认识到,大数据的掌控和分析能力将成为竞争力的核心,企业对大数据的投资也在不断扩大。Gartner调查显示,73%的企业计划在未来两年内投资大数据。以开源Hadoop、Spark等为基础的大数据基础平台解决方案和云服务如雨后春笋不断涌现,形成了近200亿美元的市场规模。然而对于很多企业用户来说,如何评价一个大数据平台的综合能力,常常是选型、平台建设和系统优化时面临的一大挑战。目前来看,国内外还缺乏一套能体现大数据特点,又简便易行,且被工业界广泛认可的大数据平台性能测试标准与工具。


记者日前从数据中心联盟(www.dca.org.cn)获悉,国内第一个大数据产品和服务基准测试规范《大数据平台基准测试技术要求》已经制定完成,将于2015年1月底公开发布。与该规范配套的评测工具源代码也将同期发布,并移交开源社区持续开发。


该基准测试规范的主要评价对象主要包括以下三类:

  • 大数据软件平台(如基于开源Hadoop、Spark平台的商业软件)、

  • 大数据软硬一体机

  • 云端大数据服务




规范根据大数据特点,精选了NoSQL、离线分析和实时交互分析等最具代表性的21个基本负载,能够考核平台在计算密集、I/O密集和混合任务等不同场景的表现。标准规定了数据生成、负载选择、测试指标、用例执行和测试配置。标准还从用户角度出发定义了多个维度的指标,不仅有基本的吞吐量质保,还有能耗、压力、扩展性、容错能力等多方面的指标,这些指标都是用户在选型和采购最关注的。


数据中心联盟常务副理事长何宝宏把基准测试形象的比喻为“公平秤”,他说:“我们设计测试基准的过程是开放的,大家平等参与,可信云和绿色数据中心相关标准制定都采用了这种方式,这些标准已经得到广泛认可。接下来需要按标准开发工具,我们会以开放源代码的方式把‘大数据公平秤’制造出来,并且免费交给厂商和用户使用,组织大家一起完善,这样买卖双方心里都有数,提高彼此的信任度。”“下一步,我们也将为可信云和绿色数据中心等标准,开发一系列开源的公平秤,欢迎业界一起参与贡献自己的力量。”


据了解,该规范是由该规范由中国信息通信研究院(原工业和信息化部电信研究院)牵头,联合中科院计算所、华为、中国移动、Intel、微软、IBM、新浪、百度、阿里、腾讯、浪潮、世纪互联、UCould等国内外知名公司和科研机构共同制定,囊括了国内外主流大数据产品与服务提供商。


数据中心联盟大数据工作组组长魏凯透露说:“联盟作为第三方行业组织,计划于2015年第一季度启动第一轮评测活动,并公开发布测试结果。此次测试活动是不仅国内大数据厂商水平的首次展示,通过这样的测试也可以减少厂商一些重复的、不必要的POC测试。”


据悉,下一步数据中心联盟将逐步吸纳行业典型应用场景,丰富测试用例和测试数据模型,形成覆盖Hadoop/Spark、MPP、NoSQL等多种产品与服务、面向电信、金融、政务等多个行业的“端到端”测试基准。长远目标是以基准测试工作为纽带,在大数据行业用户与平台供应商之间构建交流合作桥梁,加速大数据技术与行业深度融合。


【新闻连接:数据中心联盟是由工信部通 信发展司指导,中国信息通信研究院(原工信部电信研究院)联合国内外互联网企业、电信运营商、软硬件制造商等单位共同发起组建的,成立于2014年1月16日,目前共有会员单位93家。联盟设有可信云、政府采购、IT基础设施、绿色节能、大数据等8个工作组和研究组,以及负责天蝎服务器和数据中心微模块等工作的开放数据中心委员会



原文发布时间为:2014-12-28

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
3月前
|
存储 大数据 测试技术
用于大数据分析的数据存储格式:Parquet、Avro 和 ORC 的性能和成本影响
在大数据环境中,数据存储格式直接影响查询性能和成本。本文探讨了 Parquet、Avro 和 ORC 三种格式在 Google Cloud Platform (GCP) 上的表现。Parquet 和 ORC 作为列式存储格式,在压缩和读取效率方面表现优异,尤其适合分析工作负载;Avro 则适用于需要快速写入和架构演化的场景。通过对不同查询类型(如 SELECT、过滤、聚合和联接)的基准测试,本文提供了在各种使用案例中选择最优存储格式的建议。研究结果显示,Parquet 和 ORC 在读取密集型任务中更高效,而 Avro 更适合写入密集型任务。正确选择存储格式有助于显著降低成本并提升查询性能。
579 1
用于大数据分析的数据存储格式:Parquet、Avro 和 ORC 的性能和成本影响
|
3天前
|
机器学习/深度学习 分布式计算 数据挖掘
MaxFrame 性能评测:阿里云MaxCompute上的分布式Pandas引擎
MaxFrame是一款兼容Pandas API的分布式数据分析工具,基于MaxCompute平台,极大提升了大规模数据处理效率。其核心优势在于结合了Pandas的易用性和MaxCompute的分布式计算能力,无需学习新编程模型即可处理海量数据。性能测试显示,在涉及`groupby`和`merge`等复杂操作时,MaxFrame相比本地Pandas有显著性能提升,最高可达9倍。适用于大规模数据分析、数据清洗、预处理及机器学习特征工程等场景。尽管存在网络延迟和资源消耗等问题,MaxFrame仍是处理TB级甚至PB级数据的理想选择。
20 4
|
1月前
|
关系型数据库 分布式数据库 数据库
PolarDB 以其出色的性能和可扩展性,成为大数据分析的重要工具
在数字化时代,企业面对海量数据的挑战,PolarDB 以其出色的性能和可扩展性,成为大数据分析的重要工具。它不仅支持高速数据读写,还通过数据分区、索引优化等策略提升分析效率,适用于电商、金融等多个行业,助力企业精准决策。
36 4
|
1月前
|
存储 大数据 数据管理
大数据分区提高查询性能
大数据分区提高查询性能
36 2
|
1月前
|
存储 负载均衡 大数据
大数据水平分区提高查询性能
【11月更文挑战第2天】
41 4
|
3月前
|
存储 大数据 数据挖掘
【数据新纪元】Apache Doris:重塑实时分析性能,解锁大数据处理新速度,引爆数据价值潜能!
【9月更文挑战第5天】Apache Doris以其卓越的性能、灵活的架构和高效的数据处理能力,正在重塑实时分析的性能极限,解锁大数据处理的新速度,引爆数据价值的无限潜能。在未来的发展中,我们有理由相信Apache Doris将继续引领数据处理的潮流,为企业提供更快速、更准确、更智能的数据洞察和决策支持。让我们携手并进,共同探索数据新纪元的无限可能!
168 11
|
4月前
|
消息中间件 大数据 Kafka
"Apache Flink:重塑大数据实时处理新纪元,卓越性能与灵活性的实时数据流处理王者"
【8月更文挑战第10天】Apache Flink以卓越性能和高度灵活性在大数据实时处理领域崭露头角。它打破批处理与流处理的传统界限,采用统一模型处理有界和无界数据流,提升了开发效率和系统灵活性。Flink支持毫秒级低延迟处理,通过时间窗口、状态管理和自动并行化等关键技术确保高性能与可靠性。示例代码展示了如何使用Flink从Kafka读取实时数据并进行处理,简明扼要地呈现了Flink的强大能力。随着技术进步,Flink将在更多场景中提供高效可靠的解决方案,持续引领大数据实时处理的发展趋势。
115 7
|
4月前
|
前端开发 大数据 数据库
🔥大数据洪流下的决战:JSF 表格组件如何做到毫秒级响应?揭秘背后的性能魔法!💪
【8月更文挑战第31天】在 Web 应用中,表格组件常用于展示和操作数据,但在大数据量下性能会成瓶颈。本文介绍在 JavaServer Faces(JSF)中优化表格组件的方法,包括数据处理、分页及懒加载等技术。通过后端分页或懒加载按需加载数据,减少不必要的数据加载和优化数据库查询,并利用缓存机制减少数据库访问次数,从而提高表格组件的响应速度和整体性能。掌握这些最佳实践对开发高性能 JSF 应用至关重要。
79 0
|
4月前
|
大数据 RDMA
神龙大数据加速引擎MRACC问题之MRACC-Spark利用eRDMA近网络优化插件来提升性能如何解决
神龙大数据加速引擎MRACC问题之MRACC-Spark利用eRDMA近网络优化插件来提升性能如何解决
52 0
|
6月前
|
存储 NoSQL 大数据
NoSQL数据库在大数据处理场景下如何评估其性能?
【6月更文挑战第10天】NoSQL数据库在大数据处理场景下如何评估其性能?
140 2