大数据传统企业实施理性篇---请放慢你的步伐

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 一、楔子   社区的力量是巨大的,开源的诱惑也 是魅力无穷,靠忽悠无法长久的云计算已是昨日黄花,IT新贵的发力点聚焦大数据,言必称大数据,语必谈数据黄金,更有甚者,高唱2013是大数据元 年,2014必将是大数据爆发的一年。

一、楔子

  社区的力量是巨大的,开源的诱惑也 是魅力无穷,靠忽悠无法长久的云计算已是昨日黄花,IT新贵的发力点聚焦大数据,言必称大数据,语必谈数据黄金,更有甚者,高唱2013是大数据元 年,2014必将是大数据爆发的一年。而企业也已躁动不安,纷纷举旗遥相呐喊:“大数据我来了”。在此给这些企业泼盆冷水,降降温度。让大数据回归理性。

二、追本溯源-我们为什么需要大数据

  基于开源平台发展起来的大数据技术,其发展的原动力来源于企业面临的瓶颈,这些瓶颈包括三个大的方面。

  1.技术方面:

  技术方面传统的关系型数据库无法存储海量增长的历史交易信息,无法快速响应实时查询需求,其实不是不能存,而是模式本身给业务带来了不便。

  2.成本方面

  成本方面遭遇到IT巨无霸的绑架,高性能的计算能力、存储能力是以$为代价的,一方面硬件采购成本无法无天,升级维护费用连绵不绝;另一方面在此之上的操作系统、数据库系统以及应用软件等都是价值不菲,成了企业不可承受之重;而以上两点只是开始,并非结束,最可怕的东西到不在于此,而在于其一旦应用就无法替代,这才是真正致命的地方。

也因为此成就IT时代的一个又一个巨无霸们。企业的决策者们都不是傻子,至少不会像你想象中的那么傻。所以才有了对开源的热切,才有了大数据技术的机会。

  3.业务创新

  锐意创新的人总是有的,而且总是走在时代的前列,利用大数据技术能否产生新的价值呢,能否带来业务上的创新呢?我们不要以功利之心去揣测别人,即使有,我也认为这些人是最可爱的,向这些人致敬。

三、成本优势-帐不是这么算的

  成本方面大数据技术真的就有那么大优势吗?X86 PC Server比IBM小机便宜,傻子都能算出来的计算题你有什么质疑吗?其实也不尽然,大数据技术的新颖性和技术发展的不成熟,带来人力成本基本上可以直接干掉硬件成本的节约。但是如果综合起来,从直接成本和间接成本两个角度去看问题的时候,大数据的成本优势就能够体现出来了。如果再加上发展的观点、企业战略的观点看大数据,那么其成本优势则是完胜。

四、技术优势-有所为,有所不为

  以己之长,攻彼之弱,无坚不摧;以己之短,攻彼之坚,自取其辱;

  大数据技术有其自身适用领域、技术特点,同样因为其架构模式和设计原理,导致其有自身的缺陷:一方面源于自身的技术瓶颈,另一方面却是基于社区发展的约 束。大数据技术适用于互联网行业,其已经在发展过程中做过多次技术迭代和调整,其海量数据存储优势和并行计算能力已经得到验证,其数据质量控制观念也已经 形成,数据应用以数据总量体现方向和趋势,单点数据的缺失无举足轻重。而这种观点却不一定就适用传统行业,比如银行业务,你能用HBase去处理实时事务 性交易吗?言必称去IOE,只是一种战略,选个矮子比个头,就是高过去,你也没什么面子,所以去IOE,是有前提的,有些领域你还真去不了;其次,你如果 丢失了一条存取款数据,就会导致账务不平,恰好客户打印了自己的存单,钱去了何处?银行是需要给个说法的。基于此并不能说明大数据就不能应用到银行业务, 而是我们对待数据的严谨性,数据质量控制的观点必须转变,而不能继续以互联网思维模式去看待大数据在传统行业的应用,否则必然会在谩骂声中,灰溜溜的滚 蛋。

四、大数据演进路线图-业务驱动、稳扎稳打

  大数据在传统行业的实施不可一蹴而就,以存储为基础,做好数据治理和质量控制,逐步实施。立足当下,放眼未来,才是正道。下面是我所总结的一张大数据演进路线图:

  


作者:张子良
出处:http://www.cnblogs.com/hadoopdev
本文版权归作者所有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
人工智能 自然语言处理 开发者
通义千问升级免费开放1000万字长文档处理功能:利好与期待功能
最近技术圈的重大消息,那就是阿里通义千问在3月22日进行了重磅升级,向所有用户免费开放了1000万字的长文档处理功能,成为全球文档处理容量最大的AI应用。据悉,通义千问的文档处理容量和能力已经超越了全世界市场上的其他AI应用,包括ChatGPT等。关于阿里云的通义千问,不用多说,作为开发者大部分都知道且使用过,而且在日常开发过程中也或多或少会使用到,关于这次升级将会带来哪些利好?又有哪些功能值得期待呢?那么本文就来一探究竟,我们一起来看这次升级的影响,欢迎大家在评论区分享自己看法。
1118 2
通义千问升级免费开放1000万字长文档处理功能:利好与期待功能
|
SQL 关系型数据库 MySQL
MySQL误删怎么办?
本文详细介绍了如何通过MySQL的binlog日志恢复被误删除的数据。首先,确保binlog功能已开启并确认其模式(row模式更佳)。然后,通过查询binlog文件找到删除操作的具体位置。提供了两种恢复方案:一是直接找到并重放insert语句;二是通过逆向操作重新插入数据。文章还推荐了binlog2mysql等工具简化这一过程,帮助自动生成所需SQL语句。适合数据库管理员和开发者参考。
222 3
|
5G 测试技术 语音技术
5G赋能沉浸式体验:VR/AR时代的网络基石
5G赋能沉浸式体验:VR/AR时代的网络基石
526 1
|
SQL 缓存 架构师
一文梳理 Code Review 方法论与实践总结
作为卓越工程文化的一部分,Code Review 其实一直在进行中,只是各团队根据自身情况张驰有度,松紧可能也不一,这里简单梳理一下 CR 的方法和团队实践。
856 97
一文梳理 Code Review 方法论与实践总结
|
机器学习/深度学习 搜索推荐 算法
智能推荐系统有哪些特点?
智能推荐系统是在大数据的基础上,基于用户的兴趣进行个性化推荐,并且对用户和商品之间的交互信息进行持续监测和反馈,并不断优化推荐系统,从而提高用户体验、丰富平台内容、提高商业价值。 在智能推荐系统的加持下,内容生产从以“编辑推荐”为核心变成以“用户喜好”为核心。智能推荐系统不仅可以帮助平台筛选优质内容,还可以通过对用户数据的持续分析,挖掘出更多潜在需求。
|
移动开发 小程序 API
【每周一个小技巧】支付宝小程序内如何跳转生活号文章
【每周一个小技巧】支付宝小程序内如何跳转生活号文章
585 8
|
存储 安全 Devops
爆测一周!22年必看最细致代码托管工具测评
网上代码托管选型的文章不少,不过大多内容有点久远,很多最新的平台没有包括进来,个人花了大概一个星期的时间,把目前市面上比较火的代码托管平台(开源托管平台:Github、Gitee;企业级托管平台:Gitlab、阿里云效Codeup、 腾讯Coding)做了一些比较,比较的维度包括速度、成本、产研工具链完整性、安全、统计报表等,希望可以帮助正在进行代码托管选型的技术同行做决策选型。
1971 0
爆测一周!22年必看最细致代码托管工具测评
|
Rust 并行计算 安全
Rust中的并行与并发优化:释放多核性能
Rust语言以其内存安全和高效的并发模型在并行计算领域脱颖而出。本文深入探讨了Rust中的并行与并发优化技术,包括使用多线程、异步编程、以及并行算法等。通过理解并应用这些技术,Rust开发者可以有效地利用多核处理器,提高程序的性能和响应能力。
|
存储 网络协议 安全
Windows Server 2022 安全功能重大更新
这篇文将介绍 Windows Server 2022 中的一些新增的安全功能,在 Windows Server 2019 的强大基础之上引入了许多创新功能。
640 0