云计算时代 企业要如何迎接大数据?

简介:
本文讲的是 云计算时代 企业要如何迎接大数据, 随着 云计算 的落地,“大数据”已成为业界讨论最广泛的关键词之一,很多企业已经在寻找合适的BI工具来处理不同来源收集到的大数据,但尽管大家对于大数据的意识在提高,但只有少部分的企业如谷歌和Facebook这样的企业才能够真正利用大数据挖掘企业商业价值。

  其实随着大数据时代的来临,企业对于大数据的理解不应仅限于对Apache Hadoop这样的基础技术的了解,企业应该要从基础设施角度来了解和保护企业拥有的大数据。因为在未来3到5年,我们将会看到那些真正理解大数据并能利用大数据进行价值挖掘的企业和不懂得大数据价值挖掘企业之间的差距,真正能够利用好大数据的企业必然具备强劲有力的竞争优势,从而成为行业的大佬。

  事实上,目前很多企业都已经开始关注大数据,厂商也开始大肆介绍自己的大数据产品,相关会议持续不断,这也让我们看到大数据知识普及的成功,但这只是从思想工作角度来看的,当我们寻找那些真正能挖掘大数据商业价值的企业时,几乎寥寥无几,所以就目前来看,大数据价值的挖掘还只是处于初级阶段。

  未来真正能够在大数据中挖到第一桶金的必然是像Facebook和Google这样的企业,他们在数据管理和数据开采方面具备先天的优势,所以有理由相信他们将会引领这个大数据时代。除了他们,其他要想在大数据时代引领前端的企业必定是那些行业里的领导者,因为他们有提早布局以此建立行业标准的野心。

  大数据的角色

  大数据在IT领域到底扮演着什么样的角色呢?举个例子来说说这个问题吧。例如,制药企业如果想要进入制药行业的100强,那么他就必须要抓取上百万个相关网页的数据,然后进行分析、擦除无用信息最后才能找到有价值的信息。对于一个汽车制造商来说,它需要实时手机那些驾驶在道路上的汽车的信息。

  尽管企业已经意识到大数据的机制,但却不知道如何才能从中挖掘到商业价值。大数据就像是一个深入大海底部的大鱼网,有的金枪鱼、大白鲨等精品,但同时也有虾米、贝壳等价值低的便宜货。而我们的企业是大小通吃的,这样庞大的数据如何挖掘价值也就成为了一个头疼的难题。

  大数据里的语义数据模型

  大数据的数据很大一部分属于非结构化数据,包括语音、视频、图片、文档、论坛、网页等,如何才能轻松的操作这些数据呢?建立一个语义数据层是一个很不错的方法,你可以从中提取可用数据在数据库之上建立一个数据语义模型层,以此来帮助你理解地下所有的信息。

  从不同来源收集到数据之后,企业要将其放置在一起,然后开始分析、处理这些数据。传统的做法是建立一个数据仓库,将这些收集到的数据提取到建立好的数据仓库中并生成报告。但这是一个相当耗时的过程,而且还无法灵活进行,每次你要做修改,都必须要回到数据仓库去做修改,相当的头疼。

  大数据的数据容量是如此庞大,我们需要处理一大堆相关信息,这些信息来源都不同。不同的人对同一个东西的描述也都不一样,语义技术就能够帮助判断出这些叫法是否讲的是同一个事物。例如,有人会叫IBM为“IBM”,有人则称其为“International Business Machines”,其实说的都是一个公司,其实计算机是很笨的,只有通过这个语义数据模型层就能进行很好的判断。

  大数据里的风险管理

  在数据管理的时候,将所有数据放在一个地方是有很大的风险的,为了数据的安全,数据应该存储不同的地方。如数值数据可以存储在数据库里,非结构化的数据则可以存储在文档或者表格里。我们看到,增加了这些不同来源的风险信息的语义描述,意味着我们可以迅速了解综合风险状况。

  通过语义数据模型一个最大的好处就是,在进行修改时,无需回到数据最底层进行修改,去重写遗留系统和数据库语义。因为这个语义数据模型是在数据之上的,它的破坏性远小于其他的技术,只要我们为一个来源的数据提供一个语义定义,我们就可以直接应用到其他来源的数据之上。

  其实这个技术并不是为程序员或是数据库管理人员设计的,而是为业务人员设计。业务人员他需要明白这些数据对他而言是何意义,他看不懂最底层的数据表格,他希望能够直观的看到一段时间内销售量与其他因素的关系,而这些只有通过我们的语义数据模型层才能做到。近几年,IT部门与业务部门的界限其实开始渐渐模糊,业务部门能够更好的明确自己的需求,而IT部门也能更好的满足业务部门的需求,虽然还没达到最佳的状态,但已经超着这个方向在努力了。

  大数据的安全问题

  对于收集到的数据的访问需求,也以为这企业需要保证这些数据的安全性。

  很多企业在数据安全方面犯的最大错误就是做完架构、设计、开发等所有工作之后,才开始考虑安全问题,这是非常大的错误。所以实数据安全性应该从开始之初就要考虑安全架构问题。

  安全架构的搭建只是一个方面,为了保证数据的安全,建议企业将数据切片进行存储。因为这样能够做到更精确的控制。其实每一块的数据都是企业的资产,在这里可以设置公司员工对于这个数据资产的权限,如查看、修改、删除等权限。当然还要对这些数据进行加密,这样一来,就算有人侵入数据库盗用了这个部分的数据,我们还是比较安全的,因为无上下文的数据对于窃取者来说并无多大意义,因为大数据的价值密度很低。

  在这里不得不提到“'toxic data”,这个词是Forrester提出的,主要指的是企业手中“毒数据”。举个例子解释一下,大家可以想象一下无线公司收集到的数据,其中包括登录到信号塔的用户信息,用户在线时间、用户使用的数据,他们的地理位置是否移动等,企业通过这些数据可以进行用户行为分析,但与此同时,公司还能收集到用户的信用卡密码、社交网站的密码、购买习惯等用户私人信息。

  这些数据应该说是具有相当大的价值,为何又称为“毒数据”呢?因为一旦这些数据流出落入非法份子手上,势必对企业和个人造成巨大的损失。

  世界是很公平的,收入与风险是成正比。但为了降低风险,这时对数据的加密就变得尤为的关键。

  谈到大数据,最基本的做法是使用透明数据加密法——那就是对所有捕获到的数据都进行加密。这样能保证企业的所有数据都是经过加密的。过去,考虑到成本问题,很多企业都不愿意这么做,但现在有很多开源的加密方法可供企业进行选择。


作者:刘亚琼

来源: IT168

原文标题:云计算时代 企业要如何迎接大数据?

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
8月前
|
存储 边缘计算 人工智能
云计算的发展趋势及其在行业中的应用
云计算作为当今信息技术领域的关键驱动力,正在不断演进和创新。从多云模式到边缘计算,从商业到医疗,云计算在多个行业中展现了巨大的应用潜力。未来,随着技术的不断发展,云计算将继续引领着数字化转型的浪潮,为各个行业带来更多的创新和机遇。
298 0
云计算的发展趋势及其在行业中的应用
|
7天前
|
存储 机器学习/深度学习 大数据
云计算与大数据:合作与创新
本文探讨了大数据技术与云计算的背景和发展,大数据的5V特征(量、速度、多样、复杂、不确定)及云计算的3S特点(服务、共享、可扩展)。两者相互依赖,云计算为大数据提供计算与存储资源。核心算法涉及分布式计算、数据挖掘和机器学习,如线性回归、逻辑回归等。通过代码示例展示了Hadoop的MapReduce、Scikit-learn的KNN和TensorFlow的线性回归应用。未来趋势包括数据量增长、实时处理、AI与ML集成及数据安全挑战。附录解答了大数据、云计算等相关问题。
58 3
|
物联网 云计算
2018云计算行业现状及2020年云计算发展趋势
随着云计算的普及应用,2018政府工作报告再次提出,把发展智能制造作为主攻方向,推动“中国制造2025”战略落地。云计算作为三大核心技术之一,2018年云计算行业现状如何?2020年云计算发展趋势又是怎样呢? 在伴随着“互联网+”及“中国制造2025”进程的推进,各个行业开始着手转型升级。
4576 0
|
大数据 数据中心 云计算
|
大数据 数据中心 云计算
数说云计算大会 寻找大数据背后的商机
本文讲的是数说云计算大会 寻找大数据背后的商机,上周,云计算大会在高温中落下帷幕。本次大会正值盛夏,但会场三天依旧人头窜动,高温酷暑也阻挡不住大家对云计算的热情。
1451 0

热门文章

最新文章