Gartner:2017年将有过半大数据项目不成功

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介:

Gartner预测,2017年将有60%的大数据项目在试验阶段就会失败,并最终会被放弃。

在大数据正热的当下,这一结论无疑给众多的热心者泼了一道冷水。

随着企业努力在数字时代实现数据驱动,我们的生态系统正在发生重大变化。不光是企业应用程序生成的海量数据日增,在企业外部广泛的用户和难以数计连接的各种“事物”所产生的数据也呈指数级递增。这都导致企业围绕数据的洞察会变得越来越复杂。


我们不仅要问,企业在将数据资产链接到战略价值的这一过程中究竟出现了什么问题?

有专业人士认为,二者之间的主要障碍是缺乏技能或专业知识,以及技术战略与整体公司需求之间不匹配。

专业差距

我们都知道,大数据并非新近事物。早些年,当大数据处于起步阶段时,当时可用技术并不成熟。一些早期发展起来的知名网络公司,如谷歌、Facebook等不得不从根本上建立基础设施来处理相关问题。他们的成功也因此引来了更多的追随者,许多企业试图用自己基于Hadoop的大数据项目来效仿前者。

效仿的结果是,后者的IT和数据专业人员对Hadoop作为一个技术工具包能够做什么,以及对产生结果需要多少时间的预期出现偏差。Gartner的一项调查结果显示,在受访者中近半数公司缺乏部署这种技术的技能。

研究人员认为,当前大数据已经过于依赖技术。许多大数据项目之所以失败,是因为它们需要大量的前期资源,企业要为之部署刚性架构,而一旦项目进行中,其灵活性很难提高。

成功的大数据项目应该是从企业想要解决的业务问题和希望获得的价值的深刻理解开始。否则,无论企业想实现什么目标,项目都将无法达到预期或提供足够的投资回报,最终结果就会被放弃。

第二点是需要建立一支专业团队,将IT、数据科学和业务线的视角紧密结合在一起。研究人员给出的建议是,业务专家可以通过数据计划确定需要解决的主要业务挑战。IT专家可以提供访问数据和精确定位,以及执行项目所需的基础设施技能。最后,数据专家可以提供分析和提取洞察所需的数学和定量技能。围绕这些技能建立的团队对项目能否成功至关重要。

第三点是短时间值。团队越早组建,并产生具体和可衡量的价值,企业组织和高级管理层就越容易在这个项目持续投资。

而研究表明,大多数基于Hadoop的项目在这三个方面都是失败的。更多的项目太过专注于技术本身的工作。此外,难以找到足够的技能,并且需要太多的时间和精力来建立基础设施。最后,初始投资太高,交付投入时间太长,使得很难快速试验和迭代成功。

一个更好的方法

那么,是不是失败的局面就很难扭转呢?观察者留意到这样一个趋势,在大数据项目中,企业尝试通过采用基于云的数据仓库和数据湖解决方案作为Hadoop项目的替代品。从云中获得价值,而不是在基础设施建设上过多投资,会使大数据项目变得将更容易和更快。

正确的云解决方案可以避免过多的前期资本支出,而且也可以获得相对轻松和有效的扩展,并以高度管理的解决方案的形式将技术负担转移给技术供应商。

因此,如果企业自身没有足够的经验和技能,建设考虑云方案,避开成本高昂的基础设施。



本文出处:畅享网
本文来自云栖社区合作伙伴畅享网,了解相关信息可以关注vsharing.com网站。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
4月前
|
机器学习/深度学习 设计模式 人工智能
面向对象方法在AIGC和大数据集成项目中的应用
【8月更文第12天】随着人工智能生成内容(AIGC)和大数据技术的快速发展,企业面临着前所未有的挑战和机遇。AIGC技术能够自动产生高质量的内容,而大数据技术则能提供海量数据的支持,两者的结合为企业提供了强大的竞争优势。然而,要充分利用这些技术,就需要构建一个既能处理大规模数据又能高效集成机器学习模型的集成框架。面向对象编程(OOP)以其封装性、继承性和多态性等特点,在构建这样的复杂系统中扮演着至关重要的角色。
73 3
|
4月前
|
监控 Java 开发者
揭秘Struts 2性能监控:选对工具与方法,让你的应用跑得更快,赢在起跑线上!
【8月更文挑战第31天】在企业级应用开发中,性能监控对系统的稳定运行至关重要。针对流行的Java EE框架Struts 2,本文探讨了性能监控的工具与方法,包括商用的JProfiler、免费的VisualVM以及Struts 2自带的性能监控插件。通过示例代码展示了如何在实际项目中实施这些监控手段,帮助开发者发现和解决性能瓶颈,确保应用在高并发、高负载环境下稳定运行。选择合适的监控工具需综合考虑项目需求、成本、易用性和可扩展性等因素。
49 0
|
4月前
|
SQL 大数据 分布式数据库
SQL与大数据的神秘力量:如何用高效SQL处理海量数据,让你的项目一鸣惊人?
【8月更文挑战第31天】在现代软件开发中,处理海量数据是关键挑战之一。本文探讨了SQL与大数据结合的方法,包括数据类型优化、索引优化、分区优化及分布式数据库应用,并通过示例代码展示了如何实施这些策略。通过遵循最佳实践,如了解查询模式、使用性能工具及定期维护索引,开发者可以更高效地利用SQL处理大规模数据集。随着SQL技术的发展,其在软件开发中的作用将愈发重要。
125 0
|
5月前
|
弹性计算 分布式计算 大数据
MaxCompute产品使用合集之如何将用户A从项目空间A申请的表权限需要改为用户B
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
5月前
|
分布式计算 运维 DataWorks
MaxCompute操作报错合集之用户已在DataWorks项目中,并有项目的开发和运维权限,下载数据时遇到报错,该如何解决
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
|
5月前
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之如何查询MaxCompute项目中的所有表及其字段信息
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
6月前
|
机器学习/深度学习 分布式计算 DataWorks
MaxCompute产品使用问题之有什么命令可以看到当前账号拥有哪些项目的什么权限
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
6月前
|
存储 SQL 分布式计算
MaxCompute产品使用问题之如何查看项目空间耗用的存储大小
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
114 3
|
6月前
|
分布式计算 DataWorks 安全
DataWorks产品使用合集之两个odps数据源绑定了同一个项目, 如何看另外一个数据源的同步数据
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
41 0
|
6月前
|
存储 分布式计算 大数据
MaxCompute产品使用问题之购买包年包月资源可以让同一个地域下的两个项目共用吗
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。