互联网的发展给人们生活品质带来极大的提升。更便捷的购物,更便捷的交通,更安全的出行,更丰富的教育资源等等。我们应该思考一下,互联网带给了我们这些便利。但是事物是两面性的,当我们在应用这些便捷生活方式的时候?谁在处理背后看不见的复杂呢?
比如我们每时每刻接受到的天气预报,某省的气象服务要检测上千气象监测站,媒体新产生的数据是几百TB,这些数据是如何存储如何分析如何利用的?比如城市警务系统对各个业务而产生的海量数据如何处理?以及今天银行业务的海量增长,银行业务的效率如何提升?这些复杂的问题怎么办呢?
传统IT架构面临:存不起 扩不了 算不出
就像上述问题,传统的存储、服务器、网络产品组合已经解决不了这些问题了。今天各种应用不仅种类繁多,而且从数据量上来说都是极大的数字。关键是数据增长,已经不是呈一个线性增长了,而是呈一个指数性的增长。现在每年产生的数据可能都比前几年加起来多。这就对企业数据中心的IT架构带来了很大的冲击。
浪潮大数据事业部产品经理高亚坤表示目前IT架构面临的几个问题:存不起、扩不了和算不出。
存不起:传统存储设备成本过高,用户保有数据成本高达5000美元/PB。
扩不了:传统IT技术资源不能共享,水平扩展能力不足,跟不上数据的快速增长;
算不出:海量的非结构化数据难以通过传统的技术手段进行处理,传统Scale up垂直架构模式在应对海量互联网业务数据处理时,出现了瓶颈,需要Scale out水平扩展架构进行支撑;
浪潮的大数据观下的新产品
针对传统IT架构已经不能满足大数据的需求这个瓶颈,浪潮提出了大数据观,并围绕大数据观打造了全新的产品。浪潮认为围绕大数据的解决方案和服务提供包括几个层面:第一是数据的采集;第二是数据的存储;第三是数据的计算;第四是组件能力的服务化。
借此浪潮推出的云海大数据一体机,是浪潮在“持续深化计算+”战略背景下,在大数据领域的又一次创新和尝试。浪潮云海大数据一体机具有融合高效、敏捷易用、企业级增强等特点,内置云海insight大数据平台组件,并可按需定制云海IOP服务模块。具体来说,云海Insight大数据处理平台主要用于对海量结构化、半结构化、非结构化数据进行采集、处理、分析、展现。云海大数据一体机涵盖云海Insight平台组件能力,是软硬一体化、开箱即用的大数据解决方案型产品;云海IOP作为一个PaaS平台实现组件化的打包交,帮助用户快速高效的进行应用创新。。
浪潮大数据一体机目前主要有两个系列:
浪潮云海大数据一体机SDA50000,预装浪潮云海Insight大数据套件的分布式数据仓库模块,以大规模并行处理(MPP)技术,实现高性能的数据库仓库应用;
浪潮云海大数据一体机SDA70000,预装浪潮云海Insight大数据套件的分布式计算引擎,以Hadoop技术,高效处理海量结构化、非结构化、半结构化数据;
后续会推出采用超融合架构的新一代浪潮云海大数据一体机,并提供更强大的大数据业务处理能力。
云海大数据一体机精心打造的四大特性
云海大数据一体机优化了20多项关键组件,同时增强了30多项企业级特性,其横向节点扩展能力可高达4000节点以上。具体的功能特性有以下四个方面:
敏捷易用:
开箱即用,易于部署,只需插电、连接网络、启动等简单几步即可开始使用,运维效率提升50%。组件化交付,一体化运维。一站完成对大数据软件、计算、网络和存储单元的运维管理,无需频繁切换控制台。
融合高效:
采用新型Scale-out分布式并行计算架构,横向扩展节点可达4000+;高效融合架构,计算向数据存储靠拢,多表组合可达13GB/分钟/节点;柜内数据交换,计算、存储和网络集中池化,资源利用率提升40%。
企业级增强:
拥有企业级RAS特性,关键部件N+N冗余,二级管理节点维生机制,平台可靠性可达99.999%;30项分布式文件系统特性优化,速度提高20%;例如小文件存储优化、数据导入自动创建二级索引等数据特性进行优化。整合20项关键组件,适配多种计算场景。提供Hbase、HDFS、Hive、Storm等关键组件,适配流式计算、离线处理、交互式分析、迭代预测、图计算等多种计算场景。
SQL兼容:
兼容SQL-92/99/2003、OLAP扩展,PL/SQL兼容度超过92%;提供基于MADLib的高级机器学习和数据挖掘功能;无需数据导入,即可直接访问HDFS、Hive、HBase数据。实现应用开发者不需要太多关心技术细节,而把主要精力用在顶层设计和应用的功能实现上。
综合来看,云海大数据一体机可满足非结构化、半结构化和结构化数据的数据类型,能够实现数据的采集、存储、离线分析、实时分析、交叉分析、比对碰撞、内容检索、特征提取等应用需求。
深入行业应用,用事实和案例说话
大数据应用只有深入行业,才能发挥价值。这也正是浪潮独有的优势。浪潮在中国信息化领域20多年的耕耘,成功为公安、气象、交通、卫生、教育、金融、电信、银行、金融、证券、保险、审计等各大行业提供解决方案。
高亚坤分享了浪潮云海大数据一体机在行业中的应用。在某市的公安警务云中,浪潮组合采用分布式、大数据等先进技术,帮助客户快速搭建了松耦合、高性能、弹性伸缩、安全可靠的警务云计算平台。以分布式文件系统、NoSQL数据库、MPP数据库为核心,以内存数据库为补充,实现超大规模存储、超快计算以及超强数据分析。该项目整合了2.8PB数据,实现了创新的大数据特色应用,如比对碰撞、警务千度,很好地服务于公安打、防、管、控、服等工作。由于采用整机柜服务器模式,满柜搭载32节点1U标准服务器,为客户节省75%的机房空间,整体功耗降低约66%;使用统一的可视化管理监控模块,运维管理工作降低50%以上。
在某省气象局,浪潮通过云海大数据一体机产品和专业服务,帮助该省气象局建设大数据创新实验室。利用其丰富的气象资源和专家力量,初步打造成“气象万千”示范工程,整合PB级别的气象数据,探索气象与农业、交通、旅游、健康等气象创新应用百余个。利用大数据一体机产品,将繁琐的大数据环境搭建过程在生产线完成,建设周期缩短50%,建设成本节约60%。
给客户带为价值,用成功案例说话,会让浪潮的大数据业务越走越坚实,浪潮的大数据业务未来的发展值得期待。
原文发布时间为:2016年7月1日
本文作者:任新勃
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。