大数据失败案例之七宗罪

简介:

要实现大数据分析项目的最佳实践并非易事。正因如此,Gartner研究总监Svetlana Sicular题为“大数据7大失败案例”的报告吸引了思科工程师Karen Liu的注意。

“我们正处于开始阶段,想了解下其他人正在做什么,有哪些成功案例。”Liu说:“而所有的失败案例,也是我们必须学习并加以警惕的。”

很多人有着和Liu一样的想法。Family Dollar Stores Inc.(美国知名折扣零售商,总部位于北卡罗来纳的夏洛特,最近刚被另一家折扣连锁店Dollar Tree Inc.收购)的企业架构总监David Kropman也基于同样原因参加了这次会议。“我们刚开始大数据的探索,想了解正确的应用场景,同时防止自己重蹈其他公司的覆辙。”Kropman表示。

Sicular的报告给出了足够明晰的信息,可以让Kropman和Liu回去分享给各自的团队,避免犯同样的错误。Kropman说:“大数据项目的失败不单单是因为某个原因,而是由多个因素一起导致的。”

对于大数据项目的失败,Sicular总结出7个主要原因,并划分为三个大类:战略、技能和分析。

战略方面的失败

1.组织惰性。某家旅游公司系统通过web日志数据的挖掘来提升客户洞察。结果证明,用户在浏览网站之后,随后的消费行为模式与管理层所认为的不一致。当团队汇报此事时,管理层认为不值一提。但是,该团队并没有放弃,并通过严密的A/B测试,回击了管理层的轻视。

这个案例的最终结果,不是每个CIO都能期盼的。但是,有一点是可以确定的:做好和管理层打交道的准备,让他们充分理解大数据是什么以及相应的价值。要说对CIO们有什么建议的话,Sicular认为,不要在失败的项目上过多纠缠,重新启动一个新的。

2.选择了错误的应用场景。一家保险公司想了解日常习惯和购买生命保险意愿之间的关联性。由于随后觉得习惯太过于宽泛,该公司将调查范畴限定到是否吸烟上。但是,工作仍然没有实质进展。“不到半年,他们就终止了整个项目,因为一直未能发现任何有价值的信息。”Sicular说。

这个项目的失败是由于问题的复杂性。在抽烟与否之间,该公司没有注意到还有大片灰色地带:很多人是先抽烟而后又戒烟了。在将问题简单化动机的驱动下,这个部分被忽略了。“他们不是医疗健康方面的专家。”Sicular分析到。为此,她提醒听众要对应用案例排定优先级,先易后难,循序渐进。

  技术层面的失败

3.无法应对料想之外的问题。一家全球性公司的大数据团队发现了很多深刻的洞察,并且计划通过云让全公司共享。“为此,他们启动了一个云中的项目。”Sicular说。

Sicular认为,这样做是有风险的 – 一个在受控的定制环境中获得成功的项目,未必能适应于生产环境中。“这个团队低估了效率方面的损耗。由于网络拥塞的问题,无法满足全球各个分支顺畅提交数据运行分析的需求。”Sicular分析说。

该公司应该仔细思考下如何支撑大数据项目,梳理所需的技能并协调各IT分支的力量进行支持。“由于网络、安全或基础设施的问题,已经有太多的大数据项目栽了跟头。你必须事先想清楚,需要哪些方面的人手加入到项目中来。”Sicular表示。

4.缺乏大数据分析技能。一家零售公司的首席执行官不认同亚马逊规模化、扁平化的服务模式,因此让CIO构建一个客户推荐引擎。项目最初的规划是半年为期,但是团队很快认识到诸如协同过滤(collaborative filtering)之类的概念无法实现。为此,一个团队成员提出做一个“假的推荐引擎”,把床单作为唯一的推荐产品。

这个假引擎的工作逻辑是:买搅拌机的人会买床单,买野营书籍的人会买床单,买书的人会买床单。就是如此,床单是唯一的、默认的推荐品。

尽管可笑,这个主意其实并不坏,默认的推荐也能给企业带来销售上的提升。但是,由于大数据相关技能的缺失,真正意义上的引擎未能实现。Sicular表示,这是需要很长时间探索和积累的。尽管过程曲折而漫长,不过不用担心,大数据的推进是有明确阶段划分的,对CIO们来说可以有针对性地加以应对。这些阶段包括:

管理高层表示支持大数据战略规划形成进行各种测试和验证流程上线并不断完善(Sicular称之为战术阶段)投资回报开始显现,企业真正体会到大数据的价值(Sicular称之为战略阶段)技术领先的企业开始构建真正的数据产品(Sicular称之为转型阶段)

数据分析本身的失败

5.对数据过于相信。2008年,Google第一次开始预测流感就取得了很好的效果,比美国疾病预防控制中心(Centers for Disease Control and Prevention)提前两礼拜预测到了流感的爆发。但是,几年之后,Google的预测比实际情况(由防控中心根据全美就诊数据推算得出)高出了50%。“媒体过于渲染了Google的成功,出于好奇目的而搜索相关关键词的人越来越多,从而导致了数据的扭曲。”Sicular说。

因此,CIO在拿到数据之后,应该从不同角度进行加以审视,确保对数据的来源、验证方法、控制手段以及是否有脏数据等问题都能胸有成竹。

6.提出了错误的问题。一家全球领先的汽车制造商决定开展一个情感分析项目,为期6个月,耗资1千万美元。项目结束之后,该厂商将结果分享给经销商并试图改变销售模式。然后,所得出的结果最终被证明是错误的。

“项目团队没有花足够的时间去了解经销商所面临的问题或业务建议,从而导致相关的分析毫无价值。”Sicular说。

对此,Sicular提到了决策分析中的“满意度(satisficing)”模型 -- 即放弃对最优结果的偏执,基于具体的情境,找到足够好的解决方案。“耐下性子,去真正理解问题以及企业可能从中获得的收益。”Sicular解释说。

7.应用了错误的模型。为了寻找可供借鉴的案例,一位在银行工作的博士研究了其他行业的大数据成功应用。最终,他的目光落在了电信行业的客户流失预测模型上。

该银行从电信业聘请了一位专家,后者也很快构建了评估用户是否即将流失的模型。Sicular表示,当时已进入评测验证的最后阶段,模型很快就将上线,而银行也开始准备给那些被认为即将流失的客户发出信件加以挽留。但是,为了保险起见,一位内部专家被要求对模型进行评估。

这位银行业专家很快发现了令人惊奇的事情:不错,那些客户的确即将流失,但并不是因为对银行的服务不满意。他们之所以转移财产(有时是悄无声息的),是因为感情问题 -- 正在为离婚做准备。

了解模型的适用性、数据抽象的级别以及模型中隐含的细微差别,这些都是非常具有挑战性的。“这是大数据分析的关键之一。”Sicular表示。为了大数据项目的成功,CIO还必须从道德、伦理和心理的角度进行思考。


本文作者:佚名

来源:51CTO

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
存储 消息中间件 大数据
Go语言在大数据处理中的实际应用与案例分析
【2月更文挑战第22天】本文深入探讨了Go语言在大数据处理中的实际应用,通过案例分析展示了Go语言在处理大数据时的优势和实践效果。文章首先介绍了大数据处理的挑战与需求,然后详细分析了Go语言在大数据处理中的适用性和核心技术,最后通过具体案例展示了Go语言在大数据处理中的实际应用。
|
2月前
|
API
GEE案例分析——利用sentinel-3数据计算空气污染指数(Air Pollution Index,简称API)
GEE案例分析——利用sentinel-3数据计算空气污染指数(Air Pollution Index,简称API)
105 0
|
3月前
|
数据可视化 大数据 数据挖掘
瓴羊荣获2023虎啸奖“年度十大AI&大数据服务公司”“数智营销案例铜奖”双重大奖
瓴羊荣获2023虎啸奖“年度十大AI&大数据服务公司”“数智营销案例铜奖”双重大奖
|
4月前
|
自然语言处理 搜索推荐 大数据
Python大数据之PySpark(七)SparkCore案例
Python大数据之PySpark(七)SparkCore案例
38 0
|
4月前
|
分布式计算 大数据 数据处理
大数据开发企业级案例__某通信企业数据处理需求(建议收藏)
大数据开发企业级案例__某通信企业数据处理需求(建议收藏)
35 0
|
4月前
|
分布式计算 Hadoop 大数据
大数据hadoop练习___出租车MRWordCount案例
大数据hadoop练习___出租车MRWordCount案例
25 0
|
4月前
|
搜索推荐 大数据 C++
C++系列案例-大数据减法-绘制余弦曲线-兔子数量-快速排序
C++系列案例-大数据减法-绘制余弦曲线-兔子数量-快速排序
|
5月前
|
机器学习/深度学习 自然语言处理 Cloud Native
探索在云原生环境中构建的大数据驱动的智能应用程序的成功案例,并分析它们的关键要素。
大数据索引: Google使用大数据索引来构建其搜索引擎,并实时处理全球各种语言的文本数据。 云原生基础设施: Google Cloud提供了强大的云原生基础设施,支持大规模数据存储和处理。 自然语言处理: Google使用自然语言处理技术来理解和索引文本数据,从而提供高质量的搜索结果。 实时搜索: Google的
126 0
|
7月前
|
SQL 存储 分布式计算
大数据Hive入门案例
大数据Hive入门案例
55 0
|
8月前
|
弹性计算 负载均衡 并行计算
实战案例分析:ECS在电商和大数据领域的应用
本文通过实际案例分析,深入探讨了云服务器ECS在电子商务和大数据领域的应用。在电子商务网站部署方面,我们介绍了如何使用ECS构建稳定的电商平台,包括弹性伸缩和负载均衡的实践。通过示例代码,读者可以了解如何创建ECS实例、配置负载均衡器,以及设置自动伸缩策略,以应对不同流量情况。
326 1