大数据挑战:敢不敢不要加入人的判断?

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

这一论断听上去好像异端邪说,不是吗?现在的管理教育大都是对人们判断力的培养——也就是培养未来领导者“模式匹配”(pattern-matching)的能力,采用的手段通常是让他们接触大量的案例研究和其他类型的例证,以便让他们充满信心地游走在商界江湖。无论是否在商学院,人们总是告诉我们,要相信自己的本能和直觉,尤其在身经百战之后,我们完全可以靠本能和直觉在一眨眼的功夫就做出精准的判断。

但在当今的商业世界中(或许在其他领域也一样),这却是最有害的错误观念。正如我在以前的文章中写到的,人类的直觉很重要不假,但也是有缺陷的。就决定让哪些囚犯回家而言,假释裁决委员会的判断远不如简单的规则。在诊断乳腺癌方面,训练有素的病理学家的结论也比不上影像分析软件的结果。采购专业人员对哪些供应商将来表现出色的判断,远不如一种简单算法的预测更准确。美国顶尖级的法律学者对某一年最高法院判决投票结果的预测,也远远不如数据驱动型的决策规则更精准。

这样的名录我可以一直罗列下去,不过,我还是把最后一句话留给心理学家保罗·米尔(Paul Meehl)吧。早在近60年前,他就开始研究“专家”与算法孰优孰劣的问题了。他在职业生涯即将结束的时候曾总结说:“无可争议的是,社会科学的研究表明,数量众多的各种研究结果均指向了同一个方向,那就是:在从足球比赛的结果到肝病诊断的诸多预测中,你很难找出几个预测的结果是对专家和临床医生有利的,我们就此完全可以得出切合实际的结论。”

大数据的挑战

这个结论就是,我们应该将我们的很多决策、预测、诊断和判断交给算法,无论是无关紧要还是至关重要的事情。就算法是否能给我们提供更好的结果而言,已经是毫无争议的问题了。

当我们为专家呈上这样的事实时,他们的典型回应往往是“我知道数据和分析很重要,这也是我做出决策时要考虑它们的原因所在”。这种说法听上去很有道理,但实际上却大错特错了。研究同样清楚地表明:当专家把自己的判断添加到数据驱动型的算法或数学模型的结果中时(换句话说,当他们做出事后评价时。),最终结果往往比只用算法本身得出的结果糟糕。正如社会学家克里斯·斯尼德斯(Chris Snijders)所说的:“你看的结果往往是,专家参与的判断会介于模型单独判断和专家单独判断的结果之间。所以说,如果给他们提供模型,专家的判断结果会更好些,但依然不如模型独自判断的表现。”

而当我们把这个次序倒转过来的时候,也就是让专家为模型提供信息而不是相反的时候,结果则会好得多。如果专家的主观意见被量化,并添加到某一算法之中,其结果往往会得到提升。所以,病理学家对癌症病程的估计可以添加到影响分析软件的分析过程中,法律学者对最高法院对案件投票的预测也可以改善模型的预测能力。伊恩·艾瑞斯(Ian Ayres)在其卓越的著作《超级数字天才》(Supercrunchers)中曾写道:“不是让统计数据充当专家的仆人,而要让专家成为统计机器的侍从。”

当然,大多数组织都无法轻松完成这一转变。现如今,大部分决策者都确信自己很擅长此道,自己的决策毫无疑问要比没有灵魂、简单朴素的算法做出的决策更好,此外,他们还认为,拿走他们的决策权会削弱自己的权威、降低自己的价值。但显而易见的是,第一种观念是错误的,第二种认识也同样谬之千里。

那么,如何实现专家与算法之间角色的大逆转呢?倚重数据驱动型的决策过程,会让我们的组织、经济和社会因此而得到更好的结果吗?达到这样的目标需要透明、时间和对结果的认识,在这里,透明是指清楚说明“专家”的判断有多么糟糕,时间是指让这种理念广泛传播并得到充分理解,对结果的认识则能让我们为了得到更好的决策而愿意忍受这一艰难的转变。

在假释裁决委员会的例证中,我们能看到所有这三个因素的存在。正如艾瑞斯谈到的:“在最近25年中,18个州用量刑指南(sentencing guidelines)取代了假释制度。这些州在评估再犯的风险时已越来越倚重算法评估模型。

对投票者来说,糟糕的假释决定会产生严重的后果,所以,人为把握判断原则的假释裁决委员会乐得将投票权拱手相让。而在商业世界中,竞争,尤其是来自数据驱动型竞争对手的压力,会让略逊一筹的决策者举步维艰。我不知道多久会出现这种结果,但我可以信心十足地说,数据驱动型的企业,会从依然过度倚重专家的企业那里夺走更多的市场份额、客户和利润。


本文作者:佚名

来源:51CTO

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
22天前
|
消息中间件 分布式计算 大数据
数据为王:大数据处理与分析技术在企业决策中的力量
【10月更文挑战第29天】在信息爆炸的时代,大数据处理与分析技术为企业提供了前所未有的洞察力和决策支持。本文探讨了大数据技术在企业决策中的重要性和实际应用,包括数据的力量、实时分析、数据驱动的决策以及数据安全与隐私保护。通过这些技术,企业能够从海量数据中提取有价值的信息,预测市场趋势,优化业务流程,从而在竞争中占据优势。
67 2
|
3月前
|
机器学习/深度学习 人工智能 分布式计算
理解并利用大数据的力量:解锁数据背后的价值
【8月更文挑战第7天】大数据已成为推动社会进步和经济发展的重要力量。通过理解并利用大数据的力量,企业可以解锁数据背后的价值,优化业务流程、提升决策效率和创新能力。然而,大数据应用也面临着诸多挑战和风险,需要企业不断学习和实践以应对。相信在未来的发展中,大数据将为我们带来更多的惊喜和机遇。
|
人工智能 安全 大数据
医疗行业正从大数据中汲取回报的六个途径
科技总是源源不断地改变着世界,人工智能和大数据正在结合起来,为人们提供各种好处,其中应用最广泛的可能要数医疗行业了。
下一篇
无影云桌面