数据驱动的迷思

简介:

数据

身为一名七年的数据从业者,对一些专业概念尚不能准确的描述。比如什么是大数据?我虽然从2008年开始做这块的东西,但国内到了2011年的时候才兴起了这一概念。我花了三四年的时间,也不能对其有一个准确的把握。就在前天,我把我对大数据的认识拿出来和团队交流时,也产生了多处分歧,甚至有成员提议不要提“大数据”这一名词。可有客户就是被“大数据”这一概念吸引过来的,你绕开这块不讲可不行。同样,对于什么是数据驱动(Data-driven)?我依旧不能给一个准确的描述,这也许是一个新事物在发展过程中必须经历的阶段,等到尘埃落定,没有分歧的时候,也是它寿终正寝的时候。虽然无法准确定义数据驱动,但我却能通过一些对数据驱动的似是而非的认识(迷思,Myth)做一个剖析,然后再做一个总结,我们对它的认识就会更进一步了。

迷思一、KPI就是数据驱动

KPI是Key Performance Indicator的缩写,指关键绩效指标。我们在衡量目标是否达到时,最好能够有一个能够衡量总体效果的标准,这就是KPI。KPI通常是一个数字,比如今年某一企业的销售目标是5000万元,国家的GDP增长要不低于7.5%,小米手机的出货量要突破1亿。这些KPI可能是基于以往的表现评估得出的,也可能是拍脑袋的。有了KPI,组织就有了明确的目标,组织内部就按照这一目标,层层向下分解,只要每个基层完成了任务,那么组织整体的KPI就可以达到了。这种方式的好处有一堆,坏处也有一堆,咱们在这里就不论证了。咱们只讨论KPI是否是数据驱动?

KPI有一个典型特点是自上而下的,先有了一个数据,然后上下齐心协力把这个数据给坐实了。这种方式有可能是不切实际的,比如中国历史上的大跃进运动。这种方式不是先有了数据,从数据出发,再做新的决策。KPI的达成过程,是组织通过努力驱动数据的过程。正好是我们说的数据驱动相反的模式。

迷思二、有了仪表盘就是数据驱动

数据

不管是稍大规模的传统企业,还是任何规模的互联网企业,仪表盘已经是标配了。通过仪表盘,我们可以监测到公司的总体运作情况。对于公司的创始人来说,有了仪表盘,就可以对公司总体做决策了。但对于产品、运营等具体干活的人员,这可就傻了眼了。明明昨天一个机房挂了,但流量还在涨。只看到总用户量下跌了,但仪表盘上根本看不出来原因。如果想要进一步研究问题,必须对数据进行进一步的下钻,这又超出了仪表盘的承载能力。难免对有些成员来说,这些泛泛的指标很难指导决策,不看也罢。

迷思三、有专职数据工程师跑数据就是数据驱动

数据

工程师老王(本来写的是小张,团队的小张同学抗议,后来改成老王,团队的王姓同学说他老婆总叫他老王。。)负责处理所有跑数据的需求。运营同学相对上个月的活动效果进行一个评估,提了一个统计数据的需求。产品同学拿到了新功能上线的用户数据,发现比上线之前还降了?这一定是统计程序写的有问题。我们再来看看干活的老王,每天干着没有尽头的跑数据的工作,为了能够让自己不过早累死,就制定了一个复杂的数据需求规范,让那些想要跑数据的同学费一般功夫才能提过来,拉长周期,要是写的不合格,直接让需求提出者回去重写。老王已经尽力了,可因为需求提出者太多(在一个产品发展超过一年,就会出现这种情况,除非产品快挂了),后提的需求需要经过很长的周期才能满足,有些同学可能觉得提数据需求太麻烦,干脆还是换做拍脑袋吧。

这种模式下看似也能运转的通,但实际许多需求被压抑了,被强制串行化。

迷思四、每个需求都是一个新的脚本

数据

在创业公司,多面手居多,有的甚至是全栈(什么技术活都能干)。产品运营同学或老板有了数据需求,某位同学可能三下五除二就搞定了。写了一个只有他一个人能看懂的脚本(脚本是一类开发效率很高但是运行效率可能较低的程序代码,比如用perl、python等编写。)。这久而久之,就出现了一堆不同的人写的不同的脚本。如果来了新人,十有八九会交给新人去维护。因为这些脚本写的时候图快,并不会做code review,甚至连跑的数据是否正确都不能保证,那代码质量可想而知。特别是如果有人专门负责写统计脚本,那干三个月还行,觉得能够学到不少的知识。干六个月的时候,就有点腻了,发现都是重复的工作。干到一年的时候,十有八九会想走人。如果小李是接手者,发现上百个脚本,看不懂,看不完,就只能骂娘了。

工程师都是乐观主义者,对于某个数据需求,总会说这很简单,给我10分钟就搞定了。而实际要把这个脚本变成可用的任务,可能要花费两天时间。许多数据需求是例行的,那么就需要管理数据源、生成的中间数据、最终结果的发送,那么想要维护好,就不是那么容易了。更何况数据源头的格式可能发生变化,那么所有的脚本可能都跑出了错误的数据。这让我想到2008年,我刚加入百度新产品部统计团队时。当时共有20台统计机器,有500~600个统计脚本,共有两个工程师负责开发维护,新需求处理不过来,已有任务总是出问题。于是经理才痛下决心,安排我们去做一个系统来解决这一问题。

回过头来看数据驱动

数据

前面我们看了几个不那么数据驱动的例子,接下来我们看看数据驱动应该是什么样子的。数据驱动的理想状态应该是人人都是数据分析师,每个参与业务的人能够直接和数据打交道,有了问题,可以直接从数据中要结论,并且数据的获取,不依赖于第三者,不像前面提到的有那么一个中间人老王。为了达到这一点,有许多的工作要做,比如数据源要采集全,数据模型要化繁为简,强大的分析工具等,这是一个系统工程。


本文作者:桑文锋

来源:51CTO

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
监控 算法 数据挖掘
干货分享|克服数据迷雾:多平台经营突围,解码全域分析与决策提升之道
干货分享|克服数据迷雾:多平台经营突围,解码全域分析与决策提升之道
|
人工智能 算法 机器人
智能机器人:被忽视的新基建核心领域
科技巨头纷纷公布新基建战略:腾讯宣布未来五年投入5000亿用于新基建;阿里云宣布再招5000人,未来3年投2000亿推动数字新基建;百度宣布未来十年继续加大在人工智能、芯片、云计算与数据中心等新基建领域的投入;美团配送宣布要将即时配送服务建设成为未来城市的新基础设施;快手投资100亿在内蒙古乌兰察布自研自建数据中心……
166 0
智能机器人:被忽视的新基建核心领域
|
项目管理
【氚云】致道景观转型秘诀:信息化思维,让工程管理的效率光速进化
致道景观转型秘诀:信息化思维,让工程管理的效率光速进化
165 0
【氚云】致道景观转型秘诀:信息化思维,让工程管理的效率光速进化
|
人工智能 城市大脑 达摩院
华先胜:引入并驾驭“混乱”, 才能获得可贵的创新
申请纸质版杂志:https://survey.aliyun.com/apps/zhiliao/xsTiZ4YaM
383 0
《伟大的小细节:互联网产品设计中的微创新思维》——1.1 细节创新有没有门道?怎样借鉴创新?
本节书摘来自华章计算机《伟大的小细节:互联网产品设计中的微创新思维》一书中的第1章,第1.1节,作者:文哲著, 更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1270 0
《伟大的小细节:互联网产品设计中的微创新思维》——导读
西方有句谚语叫“魔鬼在细节中(The devil is in the details)”,既可以理解为细节决定成败,恰似我国古语“不积跬步,无以至千里”,小创新实现大成功;又可以理解为陷入细节必将导致失败,恰似我国古语“一叶障目,不见泰山”,只关注细节而忽视对全局的掌控。
1298 0
|
Web App开发 UED
《伟大的小细节:互联网产品设计中的微创新思维》——
本节书摘来自华章计算机《伟大的小细节:互联网产品设计中的微创新思维》一书中的第2章,第2.1节,作者:文哲著, 更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1111 0