当“大数据”真正落地 当IT技术接轨商业

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

ZDNet至顶网服务器频道 04月02日 新闻消息:从2012年以来,“大数据”持续升温(《纽约时报》就把2012年定义为“大数据的十字路口”),跟着“热闹围观”的还有图书市场。

截至目前,关于大数据的代表作品有:

维克托·迈尔·舍恩伯格的《大数据时代:生活、工作与思维的大变革》

冯启思(Kaiser Fung)的《数据统治世界--如何在数据统计中挖掘商机与做出决策》

Anand Rajaraman、Jeffrey David Ullman的《大数据:互联网大规模数据挖掘与分布式处理》

艾伯特-拉斯洛·巴拉巴西的《爆发:大数据时代预见未来的新思维》

涂子沛的《大数据:正在到来的数据革命,以及它如何改变政府、商业与我们的生活》等,

当然,还有大卫·芬雷布的《大数据云图:如何在大数据时代寻找下一个大机遇》。

这些书中,公认的以舍恩伯格的《大数据时代》为“国外大数据系统研究的先河之作”、“迄今为止关于大数据最好的一部着作”,那么,在众多所谓的“《大数据时代》之后必读之作”的书单中,大卫·芬雷布的《大数据云图》则更胜一筹、实至名归。它开启了大数据从理念启蒙到商业应用的时代,而身为作者、同时也是大数据集团(Big Data Group)创始人的大卫?芬雷布的被业界誉为“大数据商业应用引路人”.究竟,他指引了什么,贡献了什么?

首先就是“大数据云图”(Big Data Landscape),这也是中文版的书名(英文原版书名Big Data Demystified,直译为“掀开大数据面纱”)。为了让更多人理解大数据,并从中得到启发和受益,芬雷布和他的合伙人通过对包括网络科技新贵、传统商业巨头在内的数百家公司进行了跟踪、评估,绘制了一幅大数据领域应用全景图,也就是着名的“大数据云图”,而且每隔一定周期进行更新。通过它,我们可以知道现有各家企业在大数据领域扮演了什么角色,做了什么,以及有哪些空白等待后人去填补。也就是说,大数据的商机在哪,一看云图便知。随着“大数据云图”的广泛流传,大卫·芬雷布声名鹊起,找上门的咨询业务也络绎不绝。于是,芬雷布就从早先的“科技创业者”(他先后创办数家科技公司,很多被大公司收购)一下子变成了“科技引路人”.

其次在于“可视化”,芬雷布提出,它是“数据中发掘机遇的重要工具”.这一点有别于一般的大数据着述。在芬雷布看来,将信息可视化能有效抓住人们的注意力。“有的信息如果通过单纯的数字和文字来传达,可能需要花费数分钟甚至几小时,甚至可能无法传达;但是通过颜色、布局、标记和其他元素的融合,图形却能够在几秒钟之内就把这些信息传达给我们”.可视化是压缩知识、传递信息的一种方式。芬雷布提到了“数据界的达·芬奇”的爱德华·塔夫特,后者早在20世纪出版了《定量信息的视觉展示》一书,而该书就是“以视觉方式传递数据信息”的经典着作。而芬雷布专门花了一章的篇幅阐述“数据可视化”,其意义在于,强调了大数据理性之余的感性一面。事实上,大数据界的许多观点显然偏离了这点,常常倒向模型、算法、数学这一边。芬雷布的这一观点与IBM等业界英雄所见略同,而从理论上的“数据可视化”到实践中的“大数据云图”,芬雷布走在了前面。

不过,仅仅有方法论是不够的,首要的得在观念和思维上有所改变。例如维克托·舍恩伯格在《大数据时代》中要人们在逻辑上放弃“因果”转而“相关”,冯启思在《数据统治世界》里在统计学上提出要“关注异常值,而非平均数本身”(特别是小概率的力量)。在《大数据云图》中,芬雷布将“大数据”推向了极高的位置,视其具有决定下一个大机遇的重大战略意义。他说,数据、算法和速度让计算机能作出更好的决策和预测,从商业到生活甚至到飘忽不定的感情,一切都可以分析。

基于大量实证案例的支撑,芬雷布完全有这样的乐观和自信看待大数据的未来。在书中提到的许多公司应用中,不难发现在研发设计到管理销售,从教育、医疗到电子、汽车再到音乐、建筑,大数据的影子无处不在、并且发挥着不可忽视的作用。而像亚马逊、谷歌、IBM、Facebook、LinkedIn、Twitter、Netflix等公司对大数据的应用已经习以为常、开始得心应手。例如作为社交网络巨擎的Facebook 使用大数据来追踪用户在其网络的行为,通过识别你在它的网络中的好友,从而给出新的好友推荐建议,用户拥有越多的好友,他们与 Facebook之间的黏度就越高。更多的好友意味着用户会分享更多照片、发布更多状态更新、玩更多的游戏。像商业社交网站LinkedIn则使用大数据在求职者和招聘职位之间建立关联。有了LinkedIn,猎头们再也不用向潜在的受聘者打陌生电话来碰运气,而可以通过简单的搜索找出潜在受聘者并联系他们。与此相似,求职者也可以通过联系网站上其他人,顺利地将自己推销给潜在的雇主。可以这么说,现在业界对于大数据的认识可不再是“数据大”或者Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)的“4V”这么简单、表面化了。大数据“真的”广泛进入商用。至于对比舍恩伯格《大数据时代》中提到的应用实例,《大数据云图》更新颖、更前沿、更接近正在发生的未来。

不仅如此,除了“大数据将影响所有方面”外,大卫·芬雷布至少以下两个观点值得注意。第一,他认为下一个获得重大发展的是在应用领域,这个领域通过各种技术的手段,能够真正的把数据变成生产力。过去的几年中,大部分的投资都是在数据基础设施方面,未来人们会看到在应用层有更大的发展。第二,他介绍自己喜爱铁人三项运动(游泳、骑车、跑步),平时通过技术手段,将自己在整个运动过程中产生的数据进行搜集和分析,这里面包括了运动过程中的热量、心率、运动的轨迹、跑的长度等,然后不断自我优化、自我提升。通过这个现身说法,芬雷布实际上指出了可穿戴智能设备对大数据应用的推波助澜的作用。这也可以理解为,下一步移动互联时代,大数据是随时随地的、无时无刻的。商家通过把越来越多的移动端放到消费者的手里,更好的了解消费者在移动端和各个场景中的消费习惯。这意味着,在未来几年中,大数据与移动终端、与云计算的结合,将会孕育更多的商机,会有更多的新的创业者在这个方向开创出新的企业和事业。对此,在《大数据云图》中,专门有一章就叫“谁是下一个上市的数十亿美元项目”.

当“大数据”落地,当技术接轨商业,芬雷布向我们展示了一场已经发生而且将影响深远的商业变革。对于读者而言,应该心领神会:在理想情况下,企业应当具备一种能够让数据分析贯穿于整个组织的视野,分析应该尽可能地接近实时。通过观察谷歌、亚马逊、Facebook和其他科技领袖企业,我们看到了大数据之下的无限可能--当务之急,现在需要做的就是让企业尽快融入大数据战略中。

原文发布时间为:2014年04月02日
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
2月前
|
存储 机器学习/深度学习 SQL
大数据处理与分析技术
大数据处理与分析技术
155 2
|
2月前
|
存储 分布式计算 NoSQL
【赵渝强老师】大数据技术的理论基础
本文介绍了大数据平台的核心思想,包括Google的三篇重要论文:Google文件系统(GFS)、MapReduce分布式计算模型和BigTable大表。这些论文奠定了大数据生态圈的技术基础,进而发展出了Hadoop、Spark和Flink等生态系统。文章详细解释了GFS的架构、MapReduce的计算过程以及BigTable的思想和HBase的实现。
115 0
|
19天前
|
分布式计算 大数据 数据处理
技术评测:MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展,数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame(简称“MaxFrame”)是一个专为Python开发者设计的分布式计算框架,它不仅支持Python编程接口,还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评,探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现,并分析其在实际工作中的应用潜力。
57 2
|
1月前
|
机器学习/深度学习 人工智能 运维
智能化运维:AI与大数据在IT运维中的应用探索####
本文旨在探讨人工智能(AI)与大数据分析技术如何革新传统IT运维模式,提升运维效率与服务质量。通过具体案例分析,揭示AI算法在故障预测、异常检测及自动化修复等方面的实际应用成效,同时阐述大数据如何助力实现精准运维管理,降低运营成本,提升用户体验。文章还将简要讨论实施智能化运维面临的挑战与未来发展趋势,为IT管理者提供决策参考。 ####
|
1月前
|
SQL 运维 大数据
轻量级的大数据处理技术
现代大数据应用架构中,数据中心作为核心,连接数据源与应用,承担着数据处理与服务的重要角色。然而,随着数据量的激增,数据中心面临运维复杂、体系封闭及应用间耦合性高等挑战。为缓解这些问题,一种轻量级的解决方案——esProc SPL应运而生。esProc SPL通过集成性、开放性、高性能、数据路由和敏捷性等特性,有效解决了现有架构的不足,实现了灵活高效的数据处理,特别适用于应用端的前置计算,降低了整体成本和复杂度。
|
2月前
|
机器学习/深度学习 存储 大数据
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系,保留最大方差信息,实现数据压缩、去噪及可视化。本文详解PCA原理、步骤及其Python实现,探讨其在图像压缩、特征提取等领域的应用,并指出使用时的注意事项,旨在帮助读者掌握这一强大工具。
102 4
|
2月前
|
机器学习/深度学习 存储 大数据
云计算与大数据技术的融合应用
云计算与大数据技术的融合应用
|
2月前
|
SQL 存储 大数据
单机顶集群的大数据技术来了
大数据时代,分布式数仓如MPP成为热门技术,但其高昂的成本让人望而却步。对于多数任务,数据量并未达到PB级,单体数据库即可胜任。然而,由于SQL语法的局限性和计算任务的复杂性,分布式解决方案显得更为必要。esProc SPL作为一种开源轻量级计算引擎,通过高效的算法和存储机制,实现了单机性能超越集群的效果,为低成本、高效能的数据处理提供了新选择。
|
2月前
|
SQL 存储 算法
比 SQL 快出数量级的大数据计算技术
SQL 是大数据计算中最常用的工具,但在实际应用中,SQL 经常跑得很慢,浪费大量硬件资源。例如,某银行的反洗钱计算在 11 节点的 Vertica 集群上跑了 1.5 小时,而用 SPL 重写后,单机只需 26 秒。类似地,电商漏斗运算和时空碰撞任务在使用 SPL 后,性能也大幅提升。这是因为 SQL 无法写出低复杂度的算法,而 SPL 提供了更强大的数据类型和基础运算,能够实现高效计算。
|
2月前
|
存储 大数据 定位技术
大数据 数据索引技术
【10月更文挑战第26天】
66 3