大数据应用:论底层基础设施硬件到底有多重要

简介:

对于当今的企业级服务市场来说,大数据技术的不断深入已经使得很多行业的用户开始拥抱大数据,我们都知道,对于数据而言,我们每天所产生的海量数据需要有一个强有力且安全的平台来对这些数据进行收集、分析从而为用户提出一个切实可行的方案,来帮助用户解决因数据困难导致的企业IT问题。

对于整个大数据行业来说,基本上可以分为三层,分别是底层基础平台,中间层通用技术,上层行业应用。那么对于一家大数据服务企业来说,为用户提供基于这三个平台的大数据服务的过程当中,这些平台的根本,其实是需要一个强大的底层硬件基础平台来为这些海量数据做保障和支撑的。

Hadoop:底层技术的明星

对于底层的基础平台来说,其主要起到了数据存储、计算等过程当中的问题,它也是整个大数据生态当中的根本基石,用户从采集到数据开始,底层基础平台就是保证用户能够把这些数据高效、快捷的进行存储,而后才能进行高效的数据分析和挖掘,从而帮助用户解决企业IT问题。

统观当前国内的企业级市场,真正把目光专注于Hadoop的企业级厂商数量其实并不是太多,有业内专家曾经指出,在进入新世纪后的第一个十年当中,跟多企业都把发展的重点放在了IT设备的采购、数据中心机房的建设以及各种办公系统的上线等方面,而第二个十年当中,随着经济形势的下行,使得传统企业的盈利开始出现下降的趋势,对于企业级用户来讲,对于IT设备的采购也就不像之前那十年那样狂热了。

以Hadoop为代表的新底层技术能够兴起,抛开技术原因,最主要的原因是便宜、扩展性强。利用分布式架构,将一些性能一般的机器串联起来,达到与高性能单机同样的效果。随着公司发展,数据量增大,不需要更换全套设备,只需要再增加机器就可以达到目的,省时省力。

利用Hadoop发展起来的商业模式

以微软的Cosmos为例,这套系统本身优于Hadoop,主要是针对大型机房,设计理念很好,上万台机器的机房,拿出几十台做别的事情,来提升系统运营效率。但如果是几十台机器,仍然需要拿出很大一部分来做别的事情,机器使用效率就很低。

实际应用时,用上万台机器的公司少,用几十台机器的公司多,因此Hadoop的应用面更广。用的人多,自然帮助优化架构的人多,社区贡献的人多,技术发展快,渐渐成为主流。

Hadoop技术是开源的,为什么还有公司会提供Hadoop相关服务?这是因为开源技术的兼容性和稳定性比较差,同时,企业在实际应用中需要将开源技术和自身系统、产品相连接,这就是Hadoop发行版的市场所在。

当前,银行等大型企业纷纷喊出“去IOE”(IBM小型机、Oracle数据库、EMC存储设备),尽管国产企业的产品尚不能满足大型企业核心系统的要求,但是必然会有大量新业务的IT系统采用国产品牌,旧有业务面临更新换代也会优先选择国内厂商。

数据库等底层设施不同于上层应用,更换成本较高,客户黏性很大,非万不得已不会进行替换,同时Hadoop这类新技术迭代速度快,需要后期维护。因此,各家公司都在大力开拓市场,跑马圈地。

发展大潮下创业公司有几分机遇?

随着IT领域“去IOE”浪潮的快速发展,已经开始有越来越多的中国企业都在面对更换自身原有的IT硬件设备的问题,这对于整个底层基础平台市场来说是一个绝好的发展机遇,因此近些年我们也可以看到越来越多的初创型公司利用其技术优势和初创公司的高效决策机制,迅速抢占一些市场份额,占据一席之地。这类公司主要服务金融、电信、交通、电力等领域的大型企业,这些领域原本是传统集成商的地盘,因此新兴大数据公司不可避免地将与集成商正面竞争。

底层基础平台不同于上层应用,客户需求类似,产品很难体现出差异化优势。各家公司主要比拼产品性能的优劣,这种技术上的差异,新兴公司最初会占据一定优势,随着开源技术的普及,很多公司也会逐步赶上,技术的差距会逐步缩小。

Hadoop诞生于2006年,Spark于2009年出现,2013年Hadoop已经发布2.0稳定版本,两种技术从诞生到成熟时间之短,令人震惊。在当今这个技术快速发展的时代,新兴大数据公司一方面要应对市场竞争,另一方面还要保持技术的领先地位,难度不小。

对于大数据产业来说,除了在平台化管理要从用户角度出发之外,对于企业的底层硬件平台来说,也需要更加迎合实际的应用环境来对产品进行采购和升级换代,一个强大、安全、稳定的底层硬件平台对于大数据在用户端的丰富应用起到了决定性的作用,所以我们说,一切还是要以用户的需求作为根本出发点。


本文作者:佚名

来源:51CTO

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
23天前
|
存储 消息中间件 监控
【Flume】Flume在大数据分析领域的应用
【4月更文挑战第4天】【Flume】Flume在大数据分析领域的应用
|
1月前
|
Cloud Native 数据处理 云计算
探索云原生技术在大数据分析中的应用
随着云计算技术的不断发展,云原生架构作为一种全新的软件开发和部署模式,正逐渐引起企业的广泛关注。本文将探讨云原生技术在大数据分析领域的应用,介绍其优势与挑战,并探讨如何利用云原生技术提升大数据分析的效率和可靠性。
|
1月前
|
存储 消息中间件 大数据
Go语言在大数据处理中的实际应用与案例分析
【2月更文挑战第22天】本文深入探讨了Go语言在大数据处理中的实际应用,通过案例分析展示了Go语言在处理大数据时的优势和实践效果。文章首先介绍了大数据处理的挑战与需求,然后详细分析了Go语言在大数据处理中的适用性和核心技术,最后通过具体案例展示了Go语言在大数据处理中的实际应用。
|
3月前
|
数据采集 搜索推荐 大数据
大数据技术在电商平台中的应用
电商平台是当今社会最为普及的购物方式之一,而大数据技术则成为了众多企业的强有力竞争力。本文将介绍大数据技术在电商平台中的应用,包括数据采集、预测分析、用户画像等方面,并探讨其对电商平台的价值和意义。
|
3月前
|
存储 机器学习/深度学习 算法
大数据时代下的智能洞察:大规模数据处理的创新与应用
在信息爆炸的时代,大规模数据处理成为了科技领域的核心挑战之一。本文将探讨大规模数据处理的定义、创新技术和广泛应用,并阐述数据驱动的决策和洞察对现代社会带来的巨大影响。
80 3
|
1月前
|
数据采集 分布式计算 大数据
Java语言在大数据处理中的应用
传统的大数据处理往往依赖于庞大的数据中心和高性能的服务器,然而随着大数据时代的到来,Java作为一种强大的编程语言正在被广泛应用于大数据处理领域。本文将探讨Java语言在大数据处理中的优势和应用,以及其在分布式计算、数据处理和系统集成等方面的重要作用。
|
1月前
|
存储 大数据 数据挖掘
云计算与大数据:从基础设施到实际应用
云计算与大数据:从基础设施到实际应用
140 0
|
3月前
|
数据挖掘
离线大数据分析的应用
离线大数据分析的应用
|
25天前
|
NoSQL 大数据 数据挖掘
现代数据库技术与大数据应用
随着信息时代的到来,数据量呈指数级增长,对数据库技术提出了前所未有的挑战。本文将介绍现代数据库技术在处理大数据应用中的重要性,并探讨了一些流行的数据库解决方案及其在实际应用中的优势。
|
30天前
|
机器学习/深度学习 人工智能 数据可视化
基于Python的数据可视化技术在大数据分析中的应用
传统的大数据分析往往注重数据处理和计算,然而数据可视化作为一种重要的技术手段,在大数据分析中扮演着至关重要的角色。本文将介绍如何利用Python语言中丰富的数据可视化工具,结合大数据分析,实现更直观、高效的数据展示与分析。

热门文章

最新文章