数据价值有效发挥的障碍:高级数据分析常见的五种挑战

简介: 我们经常听到高级分析的成功案例。人们对人工智能的期望很高——据预测人工智能和人工智能的年经济价值将在9.5万亿到15.4万亿美元之间——因此,只要有可能,许多人都想把目光聚焦在数据分析技术的发展上。

我们经常听到高级分析的成功案例。人们对人工智能的期望很高——据预测人工智能和人工智能的年经济价值将在9.5万亿到15.4万亿美元之间——因此,只要有可能,许多人都想把目光聚焦在数据分析技术的发展上。

然而,实践者们都非常清楚,高级分析并不都是成功的。对于每一个令人印象深刻的案例研究或令人兴奋的头条新闻,都有几十个项目未能发挥其潜力。高级分析项目的探索性、反直觉性和技术性通常是每个项目面临挑战的原因。这些失败的背后还有什么原因呢?

在过去的几个月里,我们回顾了自己的经验,并与多个行业的高级分析领导者和实践者讨论了分析项目失败的原因。以下五种跨领域的障碍与行业无关,它们是项目需要克服的共同主题,以便充分发挥潜力。

1. 问题定义不明确的挑战

糟糕的问题定义是分析团队面临的重大挑战。将一个组织面临的广泛挑战分解为可解决的部分通常是非常困难的,而评估哪些部分在解决后将产生最大的影响则更加困难。

那么,当分析项目专注于错误的问题——或者至少是正确问题的错误方面时,它们的后果是什么?当这个问题出现时,项目最终会:

●没有解决明确的业务需求

●与整体业务战略不一致

●缺乏实现投资回报的明确途径

●与企业成功的真正驱动力脱节

●专注于有趣的事情,而不是产生最大影响的事情

2. 数据质量低、不一致或缺失的挑战

任何模型的强大程度都取决于它所依赖的数据。然而,获取正确的数据而且足够多可能会很困难。在以上情况下可能会发生:

●所需数据不存在

●数据质量不足以继续进行项目

●项目团队无权访问必要的数据

●数据访问成本太高

●数据工程太昂贵或太耗时而无法使数据可用

3. 执行中技术方法与问题不一致的挑战

不幸的是,确定正确的业务问题供分析解决并拥有解决问题所需的数据不足以构建交付业务成果的模型。即使前两个步骤正确,团队也可能由于以下原因无法完成工作模型:

●在整个过程中缺乏适当的技术人才或领域专家

●过度规划项目并试图一次实现太多目标

●在开发解决方案时使用了错误的技术、算法或方法

●没有建立足够准确的模型来进行预测

●可用资源不足,无法达到产生影响所需的质量或范围

●该项目的交付时间比预期的要长,并且没有足够的预算来完成模型

4.未能考虑到人为因素的挑战

即使交付了一个工作模型,如果目标用户不采用它,或者没有集成到现有的技术或业务流程中,它仍然可能会失败。虽然技术集成会带来问题,但用户采用是分析项目失败的更大原因。最好的数据科学和结构最完善的模型如果不容易使用和部署以增强人类决策,那么它们将产生很小的影响。在以下情况下会出现采用和可用性失败:

●目标用户没有参与或积极拒绝采取干预措施

●操作程序和激励措施不鼓励用户将模型纳入他们的持续行为中

●模型的交互或界面太难使用

●该解决方案不容易集成到现有技术堆栈、当前基础架构或组织缺乏必要的数据仓库、云处理和存储等能力

5. “一次性”陷阱的挑战

虽然一种模式在最初被采用时可能会蓬勃发展,但如果长期被抛弃,可能是由于缺乏内部支持,或者是由于在建立它的组织发生重大变化后没有适应。

●未能调整模型以适应组织需求、业务战略或目标的变化

●由于环境、模式或行为的变化,模型性能随时间恶化

●没有足够的技术支持来调整数据管道中的问题、源系统或 API 的更改等。

●缺乏长期采用,最终用户回滚到旧的工作方式,创建新的解决方法或使用次优系统

虽然不同的组织处于其数据分析过程的不同阶段,但我们已经看到整个高级分析行业的整体成熟度不断提高。技术人才、适当数据的可访问性和模型概念背后的思想通常最初是合理的,因此导致问题、数据和执行失败模式的因素通常比两年前更普遍。上面强调的问题四和问题五代表了许多高级分析项目的最新瓶颈,很大程度上取决于用户的采用。仅靠数据科学无法解决这个问题。根据经验,以人为本的设计,超越界面和数据可视化,在消除这一瓶颈和确保分析项目发挥其全部影响方面发挥着不可或缺的作用。

从项目一开始就集成设计,早在问题定义阶段,就可以更早地开始变更管理过程,并在许多导致失败的问题之前进行处理。考虑未满足的需求,并尽早发现潜在的用户问题。正如一位经验丰富的分析高管所说,“分析的50%影响在于你的模式有多好,另外50%则是用户接受度。两者缺一不可,不会给你带来任何有价值的东西。”

相关文章
|
2月前
|
数据挖掘 PyTorch TensorFlow
|
1月前
|
机器学习/深度学习 人工智能 搜索推荐
某A保险公司的 数据图表和数据分析
某A保险公司的 数据图表和数据分析
55 0
某A保险公司的 数据图表和数据分析
|
3月前
|
数据采集 DataWorks 数据挖掘
提升数据分析效率:DataWorks在企业级数据治理中的应用
【8月更文第25天】本文将探讨阿里巴巴云的DataWorks平台如何通过建立统一的数据标准、规范以及实现数据质量监控和元数据管理来提高企业的数据分析效率。我们将通过具体的案例研究和技术实践来展示DataWorks如何简化数据处理流程,减少成本,并加速业务决策。
431 54
|
1月前
|
机器学习/深度学习 数据采集 数据可视化
如何理解数据分析及数据的预处理,分析建模,可视化
如何理解数据分析及数据的预处理,分析建模,可视化
49 0
|
2月前
|
机器学习/深度学习 数据挖掘 TensorFlow
🔍揭秘Python数据分析奥秘,TensorFlow助力解锁数据背后的亿万商机
【9月更文挑战第11天】在信息爆炸的时代,数据如沉睡的宝藏,等待发掘。Python以简洁的语法和丰富的库生态成为数据分析的首选,而TensorFlow则为深度学习赋能,助你洞察数据核心,解锁商机。通过Pandas库,我们可以轻松处理结构化数据,进行统计分析和可视化;TensorFlow则能构建复杂的神经网络模型,捕捉非线性关系,提升预测准确性。两者的结合,让你在商业竞争中脱颖而出,把握市场脉搏,释放数据的无限价值。以下是使用Pandas进行简单数据分析的示例:
42 5
|
3月前
|
存储 数据挖掘 数据处理
DataFrame探索之旅:如何一眼洞察数据本质,提升你的数据分析能力?
【8月更文挑战第22天】本文通过电商用户订单数据的案例,展示了如何使用Python的pandas库查看DataFrame信息。首先导入数据并使用`head()`, `columns`, `shape`, `describe()`, 和 `dtypes` 方法来快速概览数据的基本特征。接着,通过对数据进行分组操作计算每位顾客的平均订单金额,以此展示初步数据分析的过程。掌握这些技能对于高效的数据分析至关重要。
41 2
|
3月前
|
数据采集 机器学习/深度学习 算法
"揭秘数据质量自动化的秘密武器:机器学习模型如何精准捕捉数据中的‘隐形陷阱’,让你的数据分析无懈可击?"
【8月更文挑战第20天】随着大数据成为核心资源,数据质量直接影响机器学习模型的准确性和效果。传统的人工审查方法效率低且易错。本文介绍如何运用机器学习自动化评估数据质量,解决缺失值、异常值等问题,提升模型训练效率和预测准确性。通过Python和scikit-learn示例展示了异常值检测的过程,最后强调在自动化评估的同时结合人工审查的重要性。
91 2
|
2月前
|
机器学习/深度学习 数据挖掘 TensorFlow
从数据小白到AI专家:Python数据分析与TensorFlow/PyTorch深度学习的蜕变之路
【9月更文挑战第10天】从数据新手成长为AI专家,需先掌握Python基础语法,并学会使用NumPy和Pandas进行数据分析。接着,通过Matplotlib和Seaborn实现数据可视化,最后利用TensorFlow或PyTorch探索深度学习。这一过程涉及从数据清洗、可视化到构建神经网络的多个步骤,每一步都需不断实践与学习。借助Python的强大功能及各类库的支持,你能逐步解锁数据的深层价值。
65 0
|
3月前
|
SQL 数据挖掘 Serverless
SQL 窗口函数简直太厉害啦!复杂数据分析的超强利器,带你轻松攻克数据难题,快来一探究竟!
【8月更文挑战第31天】在数据驱动时代,高效处理和分析大量数据至关重要。SQL窗口函数可对一组行操作并返回结果集,无需分组即可保留原始行信息。本文将介绍窗口函数的分类、应用场景及最佳实践,助您掌握这一强大工具。例如,在销售数据分析中,可使用窗口函数计算累计销售额和移动平均销售额,更好地理解业务趋势。
64 0
|
3月前
|
SQL 数据可视化 数据挖掘
SQL 在数据分析中简直太牛啦!从数据提取到可视化,带你领略强大数据库语言的神奇魅力!
【8月更文挑战第31天】在数据驱动时代,SQL(Structured Query Language)作为强大的数据库查询语言,在数据分析中扮演着关键角色。它不仅能够高效准确地提取所需数据,还能通过丰富的函数和操作符对数据进行清洗与转换,确保其适用于进一步分析。借助 SQL 的聚合、分组及排序功能,用户可以从多角度深入分析数据,为企业决策提供有力支持。尽管 SQL 本身不支持数据可视化,但其查询结果可轻松导出至 Excel、Python、R 等工具中进行可视化处理,帮助用户更直观地理解数据。掌握 SQL 可显著提升数据分析效率,助力挖掘数据价值。
68 0