警惕大数据的“哑铃”现象

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:



SnapLogic公司的CEO高拉夫•迪隆认为,大数据哑铃的两端,一端是零售、金融等服务业和信息密集型产业,一端是工业互联网,这两端都能从大数据获得巨大的好处,但大数据并不适合其它大量处于中间地带的企业

如果真像知名风投家马克•安德里森所说的那样,软件正在吞噬世界,那么大数据就应该是在拯救世界,对吧?

近两年来,“大数据”这个词已然滥殇于报端。它一般代指用来分析令常规工具望洋兴叹的海量数据的一系列技术。“大数据”的火爆令许多高管不禁踌躇自己的公司是否也要来上这么一套东西。这种现象从很多方面看很像上个世纪60年代——当年仍处于襁褓阶段的计算机虽然异常昂贵,但它所具有的未来主义色彩仍令众多大企业心折不已,遂纷纷把它看成一种有利于竞争的工具。那么现在的企业面对大数据浪潮该何去何从?是该害怕它,还是勇敢地拥抱它?另外,究竟谁才真正需要这个东西?

为了透过热闹看门道,《财富》杂志将电话打到了高拉夫•迪隆在加州圣马特奥市的办公室。如果你觉得迪隆这个名字很耳熟,那是因为迪隆曾担任过Informatica公司的创始人兼首席执行官。Informatica公司的总部位于加州的红杉市,市值将近40亿美金,主要业务是替大企业管理数据库。

迪隆于2009年就任数据集成公司SnapLogic的首席执行官。他认为大数据对于大企业来说蕴含着丰富的商机——但仅限于某些行业。他把这种情形称为大数据应用的“哑铃”现象。以下是这次电话专访的文字记录,为清晰起见进行了部分编辑和精简。

《财富》:去年可能再没有比“大数据”更火的词了,几乎到处都能看到这个词——比如在科技峰会的主题演讲里,在各种简介材料和展板里,在关于各种行业的新闻文章里……大家都觉得自己需要搞大数据。不过,大数据是个非常专门的计算技术的类型,是吧?还是说,它只是个噱头?

迪隆:我在信息技术行业从业22年,也有一些自己的观点。2002年的时候,我用“信息海啸”一词来描述它。现在我们又有了一个新名词。

我认为现在需要管理的数据量的确越来越大了。这个行业最初发端于上个世纪,而且是在互联网发明以前,起初是要处理零售业的条形码和UPC代码数据。对这些数据的早期分析孕育了后来的数据存储行业。后来这个行业带动了市场决策、定价决策、零售预测等等方面。

大数据的火爆趋势还会继续下去,不会突然发生转变。一位科学家曾说过:“科学每一次都提前埋葬了一点过去。”所以我认为我们还能够继续享受利用数据进行决策,以及利用大数据进行更合理的决策所带来的效益。

我们需要处理的数据的确“变大了”。当然,我家车库里也比十年前装了更多的东西,随着时间的推移,大家的东西都会越来越多。

但是有意思的是,大数据具有数据科学的元素,我认为这是比较重要的一点。首先它从大数据中撷取出小数据,然后在小数据中寻找信号,来理解我们下一步该做什么——比如谁将赢得大选?气候和语言之间有什么相关性?也就是我们现在能做一些靠上个世纪的运算能力没法处理的事。而且现在Hadoop和其它一些工具已经让大数据走向大众化。所以,现在大数据计算的价格和性能都发生了根本的变化。

在有些案例中,大数据的效益很明显;在其他一些案例中,大数据的作用被夸大了,它的效益可能不会那么明显。随着许多东西的电子化程度越来越高——比如超市、桥梁、汽车、公路等,大家有了它们的传感器数据,就会获得大量的信息。但更多的数据并不会让人变得更聪明,它只是意味着大家要花更多钱用来储存这些数据。正是这个方面会让有些公司被甩出这个市场——也就是大数据的效益方面。

在有些领域,比如零售、定价、金融方面,大数据的效益很明显。但在有些行业里,把钱投在大数据或是投在研发和市场上,哪个带来的效益更多,答案并不明显。我不是要告诉你大数据是个万灵丹,而是要告诉你管理这些数据……不同的人获得的效益是不一样的。

上周新更新的一集美剧《广告狂人》(Mad Men)里,那家名叫Sterling Cooper & Partners的广告公司购买了一台新的IBM 360大型主机放在原来的一间会议室里。剧中的有些角色为了让公司获得竞争优势而想买这台电脑;还有些人支持买这台电脑是因为他们把它看成未来的一种趋势。另外还有一些人担心这台电脑会取代他们的工作。这就是人们看待大数据的一般看法吗?

对计算机的恐惧不仅仅是他们有。刚毕业的大学生、2000年后毕业的人以及我的孩子(一个13岁、一个6岁)这一代人,他们并不害怕计算机——他们虽然可能不是搞编程的,但他们对科技上手很快,个个都是民间高手。而《美国队长2》(Captain America: The Winter Soldier)里九头蛇密谋颠覆世界的“洞察计划”渲染的全是大数据的阴暗面。实际上如今各大企业想的都是“我们不能落在后面”,所以纷纷在这个领域开展军备竞赛。虽然社会上有人担心大数据会导致“洞察计划”这样的阴谋成为现实,但企业界没有这种担忧。不过在企业界里也存在获取了错误的数据或是没能真正理解数据含义的问题——这和五六十年前的情况如出一辙。在SnapLogic公司,我们现在就正在尝试完成一下一些未完成的业务。为什么到了2014年它还是这么难?

我感觉许多行业都在热情拥抱大数据——比如制造业和金融服务业,因为人们已经有了熟练操作计算机的能力。但是我觉得人们急着想要看到的是,大数据应用在他们的生活中会给他们带来哪些好处。他们对大数据还是比较关心的,而且他们确实只想享受大数据给他们带来的好处。这需要做大量的工作。而现在的数据学家还是太少了,像Hadoop这样的公司更是凤毛麟角,你还得需要一个计算机科学专业的研究生来把这些东西建立起来。大数据已经从根本上改变了数据储存的单位比特成本,这是一个结构性的变化。

现在围绕大数据已经能清晰地看到一个“哑铃”态势的形成。服务业和信息密集型产业等具有大量知识型员工的行业明显会从大数据中获得巨大的效益。还有零售业、酒店业、股票交易……如果你有发现趋势的能力,你就能发现你所在业务的分界点,然后采取相应措施。如果你发现了如何利用市场中的某些事件随势而动,那么你肯定可以把它转化成现金。这就是哑铃的其中一端。

哑铃的另一端是工业互联网。我觉得它特别特别的有趣。通用电气公司(GE)有一篇文章写道,你不仅要能卖飞机引擎,还要卖飞机引擎的周边价值。所以要围绕大数据激发一些行动。比如对于通用电气来说,就是对已经卖出去的引擎做预防性的维护。这个理念对通用电气、西门子(Siemens)以及其它任何一家制造企业都具有重大意义。你可能认为大数据只是知识方面的一项业务,但是在工业方面,它也是一个非常有意思的“哑铃”。

但对于其他行业来说……你能预测时尚行业的趋势和流行的颜色吗?什么元素可以让一季时装获得成功?或许大数据能做到。另外一部好电影就是一部好电影,大数据本身造就不了一部好电影。有时你只能一步一个脚印地创造一些东西。一本好书,一部电影,只有到了上架上映的时候才知道好不好。“哑铃”理论看起来非常站得住脚。

那么我们是否应该告诉有些企业:“大数据不适合你”?

我们应该搞清楚这个问题。因为如果我们不搞清楚,大家会很不高兴。你不能让一个问题半死不活地吊着,而是要彻底搞定一个问题。很多人只想立刻上马搞大数据,但是如果你不想投资到一个有效的水平——那需要一笔重大的投资——而只是蜻蜓点水地投一点钱,就指望收获巨额回报,这种好事是不会发生的。所以如果你今年没有足够的预算,那么或许你应该等等,因为这种技术会越来越便宜。所以不妨宽心安坐,最好用软件即服务(SaaS)和云应用给你的公司打气,让你的市场部门放手拼搏。

从根本上看,企业的高管就是投资者。高管是做什么的?就像我们的投资人之一本•霍洛维茨说的那样,他们做的不是事,而是决策。没什么比一个半生不熟的大数据项目更悲剧了。这样做只会让你对大数据的真正效益产生反感和不信任。

大数据市场还有哪些可以进入的空白领域?哪些领域或行业是大数据可以轻易征服、但目前仍然是完全敞开的?

所有这些变化正在把所谓的负空间(即相连事物之间的空间)变成战场。如果这些领域不互相交流的话,单是你自己花多少钱没有意义。但由于发生了巨大的变化,所以我们看到了很多的负空间。比如人们正在关掉传统的数据存储仓库,还有我们发现很多企业应用转移到了云端。Salesforce是这样做的,Workday做的也很好,另外还有API、物联网、数据……大数据还处于发展的早期阶段,但它很可能将成为有史以来最好的信息来源。你能有多少条形码?大家肯定会在工业方面看到大数据的赚钱能力。

把负空间结合在一起是个大问题。但它们目前仍然是一片空白。我们还有很长的路要走。


原文发布时间为:2014-05-13

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
存储 人工智能 物联网
|
2月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
16天前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
130 7
|
16天前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
32 2