大数据化雨落地 BDA万唤始出来

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介:

2014年,是大数据试水和早期部署的一年;步入2015年,大数据更多地走进企业的生产环境中,企业正在积极地了解和探索大数据,从中发现淘金的机会。

根据IDC的最新研究结果,大数据市场的规模已经突破400亿美元,几乎是整个IT市场增幅的6倍。不仅如此,未来5年大数据仍然是增长快速、规模达数十亿美元的市场机会。

今年我们可以感受到,围绕着大数据的炒作似乎正在一点点降温,而这正表明大数据技术在不断成熟,渗透到企业机构的业务运营之中。

我们看到,大数据帮助许多行业解决业务难题,比如增强客户体验,改善流程效率,尤其是在交通、医疗、保险、媒体和通信、零售和银行等行业;另外一方面,是利用大数据部署信息项目,企业机构希望从大数据中掘到金,尤其是对银行业和制造业来说。

大数据化雨落地 BDA万唤始出来

大数据的“4个V”相信大家已经很熟悉了,但是这4个V给企业IT基础架构究竟带来了怎样的挑战呢,传统的基础架构是否依然适用?

不久前,记者采访安徽合力叉车时得知,该公司近些年来的业务快速发展,导致了数据量的激增。目前,合力叉车SAP ERP系统数据量每月增长10%左右,更为紧迫的是,由于数据库主机磁盘繁忙率过高,已经严重影响了报表的查询速度与生成时间,拖累了工作效率,例如月结时间由最初上线时的几小时增加到十几,甚至几十个小时。

合力叉车IT负责人称,在大数据的背景下,制造业企业也面临着数据爆炸带来的机遇和挑战,业务快速发展急需对现有IT基础架构进行改造升级。

坐拥大数据的典型行业,银行业也正在发出同样的呼声。前不久记者在采访中了解到,中国工商银行的数据处理能力正在面临巨大挑战,不仅客户交易频次增加,使得历史数据、非结构化和半结构化数据越来越多,而且数据平台从以往传统交易系统中账户交易明细,向更多社交、用户信息和在线交易行为数据延伸。

该行以MPP架构为中心的数据仓库,经过多年积累了几百TB的结构化数据,涵盖存款贷款、中间业务、电子银行等交易系统数据。该行负责人称,目前工商银行正在寻找一些适合的技术和产品,对IT基础架构进行升级,以处理非结构化和半结构化数据、以及更多行外数据。

大数据化雨落地 BDA万唤始出来

这张图以事实和数据说明,大数据和数据分析正在成为像合力叉车这样的制造业企业的核心。

以上这个两个例子说明,大数据正在并将继续变革着企业业务,使其成为大数据驱动的业务,但同时处于大数据探索不同阶段的企业,也要注意到随之而来的难题和挑战:

- 那些还没有大数据相关技术的企业机构,他们正在面对着如何从大数据中获得价值、制定战略等难题,甚至他们仍然在试图理解大数据是什么。

- 对已经开始逐步了解并且探索如何利用大数据的企业来说,他们面临的挑战也更加实际了,例如在哪个业务流程中运用大数据是最合适的,怎么优化大数据的部署,怎么更好地转化为实际的业务成果。

- 至于那些进一步加大对大数据投资的企业,就必须要考虑风险、监管、数据集成和基础设施方面的问题了。

不管怎样,在更广泛的ICT市场甚至是整个业务分析市场环境中,大数据市场正在快速从初始阶段走向成熟。在这个背景下,企业面临着数据爆炸以及利用新技术进行业务转型的双重压力,越来越多的企业认识到领先的IT基础架构为企业业务带来的独特价值。

为什么BDA扮演着越来越重要的角色?要知道,应对大数据的量、多样化和速度挑战,提高存储容量和计算能力是必须的手段。

不仅如此,从多样化的数据来源中获得价值,例如社交媒体数据、机器数据和传感器数据,甚至是自由格式的文本数据,这不仅需要不同的工具和利用这些数据的技能,更离不开基础架构提供更大的存储容量和更高的计算能力。

那么理想的大数据基础架构应该是什么样的,你知道吗?在下一篇文章中,我们将详细讨论大数据基础架构的重要性和特点,敬请关注!

原文发布时间为:2015年4月21日
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
存储 分布式计算 搜索推荐
连载6:阿里巴巴大数据实践:大数据建设方法论OneData
避免重复建设和数据不一致性,保证数据的规范性,一直是大数据系统建设不断追求的方向。
7726 1
连载6:阿里巴巴大数据实践:大数据建设方法论OneData
|
机器学习/深度学习 人工智能 大数据
互联网+大数据创新
全国移动互联创新大赛大数据专项赛暨滨州2019大数据和人工智能研讨交流大会主题分享
955 1
互联网+大数据创新
|
存储 分布式计算 数据挖掘
大数据和大数据平台的内在联系,大数据的实用价值是什么?
大数据根基于互联网,数据仓库、数据挖掘、云计算等互联网技术的发展为大数据的应用奠定了基础。
1225 0
|
存储 大数据 数据库
大数据解决方案
原文:大数据解决方案 大数据处理 1、数据库 垂直拆分:根据业务把表放到不同的数据库,解决表之间的IO竞争 水平拆分:根据某种规则把单表数据分成多张表存储,解决单表数据量大的问题 索引:根据业务场景创建合理的索引,如果数据量很小建议使用索引(300条以内) 索引使用场景: 动作描...
960 0
|
监控 算法 数据挖掘