2019年的数据和人工智能市场格局:将出现下一波混合浪潮

本文涉及的产品
容器服务 Serverless 版 ACK Serverless,952元额度 多规格
NLP自然语言处理_基础版,每接口每天50万次
简介: 与五年前不同的是,Hadoop不再是分析大数据的唯一途径。从完整平台到专门的点服务(如Spark、流媒体、数据转换、人工智能)都采用了云计算产品。此外,在云中,对象存储正在成为事实上的数据湖。

如今的数据格局如果没有人工智能就不再完整。商业智能领域出现了一个整合浪潮,这引发了一个问题,是否会推出新一代人工智能?混合云现在不再成为大多数企业的抽象术语。


与五年前不同的是,Hadoop不再是分析大数据的唯一途径。从完整平台到专门的点服务(如Spark、流媒体、数据转换、人工智能)都采用了云计算产品。此外,在云中,对象存储正在成为事实上的数据湖。但是随着Mapr的衰落以及HortonWorks和Cloudera的合并,仍然有着很好的客户基础,至少有两千个蓝筹股客户,并且绝大多数是内部客户,他们每年将支付上百万美元的支持费用。而这些工作负载不会一夜之间转移到云端。


尽管如此,企业将业务迁移到云端是显而易见的。Firstmark公司的调查报告与Ovum公司所做的预测一致,2019年,大多数新的大数据工作负载将从云端开始。FirstMark公司期待出现这一点,但也有一些问题。当企业考虑云计算新的战略工作负载时,有人担心云供应商的锁定。混合云得到了行业厂商的关注,而像IBM这样的基础设施厂商已经在云计算第一轮发展浪潮中错过,因此有些厂商希望获得第二次机会。而Kubernetes并没有迷失,谷歌开源项目让用户更加关注混合云。当然,这也推动了IBM公司以340亿美元收购Red Hat,但其举措远远落后于谷歌Anthos产品,该公司重新打包其Kubernetes服务,企业可以在AWS云平台中运行谷歌云本地工作负载(无需采用谷歌硬件)。


但是人们在采用Kubernetes服务时需要花费时间熟悉和适应,Kubernetes仍然是一块未经打磨的钻石,其安全性、负载平衡、服务配置等方面的最佳实践仍在进行中。尽管如此,FirstMark推测,由于数据科学家或数据工程师希望对他们的环境施加更多的控制,Kubernetes可能会促使他们远离基于云计算的机器学习服务。机器学习对数据的需求非常旺盛,因此,其关键的推动因素或者说障碍,取决于人们的观点,将是企业在内部存储或处理所有数据的能力、意愿、成本等等。而专家对Kubernetes的看法是,对于除了最复杂的企业IT组织之外的所有人来说,它将变得过于复杂,尽管像IBM公司或Pivotal公司这样的第三方的使命是将所有的复杂性隐藏在一个黑盒里。


该报告还研究了复杂分析和机器学习工作负载的无服务器计算的状态,同样认为它处在黄金时期还为时尚早。无服务器随着敏捷开发具有短期流程的应用程序或具有不稳定流量峰值的数据库而变得流行。无服务器的开发简单性,让系统自动调整计算量,对于实现敏捷的开发人员具有吸引力,但是长时间运行的机器学习过程将使无服务器遇到障碍,正如FirstMark公司调查报告所指出的那样。


另一个痛苦的领域将是数据管理和治理,这个问题与一系列新的和拟议的数据隐私法相结合。对于数据库和商业智能的经验丰富的公司和个人来说,这些问题并不新鲜。当企业拥有如此多的数据时,如何找到要查找的内容?数据目录由Alation和Waterline Data等第三方提供,并内置于像Cloudera这样的数据平台。例如,由Google Ventures提供部分支持的Colibra公司最近筹集到1亿美元,但同时,并没有阻止谷歌云计算人员公布他们自己的数据目录,这些数据目录与Collibra的数据目录重叠。但并非所有数据目录都是平等的。有些是高度协作的工具,它们利用机器学习来抓取和构建查询以访问数据,而其他工具则是一些数据字典。


FirstMark公司的调查报告认为,数据沿袭是新兴的另一项技术——它应该告诉人们数据来自何处,并提供审计跟踪,以了解数据是如何被使用的,最好是由谁使用。虽然数据沿袭应该提供单一的真相来源,但面临的挑战是,分析工具、数据目录、数据平台都在记录各自对数据沿袭的看法,提供了拥有很多好处的最新示例。


如果不涉及商业领域的最新一轮整合,那么对2019年数据和分析领域的调查就不会完整,谷歌公司收购Looker公司,Salesforce公司兼并Tableau公司, Alteryx公司收购ClearStory Data公司,以及Logi Analyti公司收购Zoomdata公司。与10年前的商业智能整合浪潮相似的是,Business Objects、Cognos和Hyperion分别被SAP、IBM和Oracle收购。FirstMark公司推测市场的兼容并购可能还没有结束,亚马逊公司可能考虑收购QuickSight。商业智能的下一波创新将是将作为数字助理的机器学习嵌入到业务分析中,帮助选择和清理数据。人们可能会在现有工具中看到很多这种创新,例如Tableau公司的Ask Data自然语言查询,但这也可能是初创企业围绕自然语言和数字辅助进行设计的动力,而不是对其进行改造。


作为商业智能民主化分析,FirstMark公司将机器学习视为下一个适合市场发展的分析领域。它将市场空间分成几个部分:第一个是AutoML,它可以自动化开发和生产机器学习模型的大部分工作,受到云计算用户和第三方(如Data Robot)的关注。第二个是存储桶,主要是第三方的领域,如Dataiku、RapidMiner和H2O,它添加了大量的协作组件。Firstmark公司的调查报告描绘出这些工具将如何解释人工智能模型。


FirstMark公司还在水平服务中看到人工智能活动的温床,例如计算机视觉、自然语言处理、语音到文本,它们正在将数据池的深度学习端商业化。但也提出了一个警告,那就是水平服务敲开了人工通用智能(人工智能越来越接近人类能力)的大门,现在其能力相对有限(他们执行文本翻译等任务,但实际思考能力有限)。因此,市场处于更加早期的发展状态。还有一些常规服务,如Amazon Rekognition,以及谷歌联系中心人工智能等垂直服务的开端。FirstMark公司注意到自然语言处理(NLP)等基线功能的重大改进。


最终,人工智能的最大收益将嵌入到业务应用程序中。这是SAP Leonardo计划背后的主要推动力。Leonardo计划本身不是一种产品或一组产品,但其作用之一是作为一个实验室,让SAP从客户参与中发现生产机会。但Firstmark公司认为这意味着要经历3~4年的漫长旅程。

相关实践学习
容器服务Serverless版ACK Serverless 快速入门:在线魔方应用部署和监控
通过本实验,您将了解到容器服务Serverless版ACK Serverless 的基本产品能力,即可以实现快速部署一个在线魔方应用,并借助阿里云容器服务成熟的产品生态,实现在线应用的企业级监控,提升应用稳定性。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
1月前
|
机器学习/深度学习 数据采集 人工智能
人工智能:引领未来的科技浪潮
人工智能:引领未来的科技浪潮
|
4天前
|
人工智能 算法 数据安全/隐私保护
人工智能伦理:在技术浪潮中寻找道德指南针
随着人工智能技术的飞速发展,其对社会结构、就业市场以及个人隐私的影响日益显著。本文将探讨AI的伦理问题,包括算法偏见、隐私保护、自动化带来的失业问题以及责任归属等,并提出相应的解决策略。通过分析不同利益相关者的观点和行动,文章旨在为AI技术的健康发展提供道德指导和政策建议。
10 0
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
【AI 生成式】如何利用生成式人工智能进行机器学习的数据增强?
【5月更文挑战第4天】【AI 生成式】如何利用生成式人工智能进行机器学习的数据增强?
|
1月前
|
人工智能 测试技术
测试数据不再难,人工智能批量生成给你用!
本文介绍了如何利用ChatGPT生成测试数据。测试数据是验证功能和触发异常场景的关键,设计时需全面考虑等价类、边界值和正交法。实践中,先明确数据类型、格式和需求,然后向ChatGPT提供相关信息。例如,对于只能输入中国手机号的输入框,初始提示可能只包含正常手机号,但应进一步补充异常场景,如非数字、长度错误、非中国号码、特殊字符、空输入等。此外,可通过指定yaml格式来满足代码使用需求。总结来说,生成测试数据需清晰定义需求,拆分任务,并系统测试各种变化。
40 2
|
1月前
|
机器学习/深度学习 人工智能 API
人工智能平台PAI 操作报错合集之DSSM负采样时,输入数据不同,被哈希到同一个桶里,导致生成的embedding相同如何解决
阿里云人工智能平台PAI (Platform for Artificial Intelligence) 是阿里云推出的一套全面、易用的机器学习和深度学习平台,旨在帮助企业、开发者和数据科学家快速构建、训练、部署和管理人工智能模型。在使用阿里云人工智能平台PAI进行操作时,可能会遇到各种类型的错误。以下列举了一些常见的报错情况及其可能的原因和解决方法。
|
1月前
|
机器学习/深度学习 SQL 人工智能
人工智能平台PAI 操作报错合集之机器学习PAI缺失值补充报错,从odps读取数据正常 进行下一步时,补充缺失值报错如何解决
阿里云人工智能平台PAI (Platform for Artificial Intelligence) 是阿里云推出的一套全面、易用的机器学习和深度学习平台,旨在帮助企业、开发者和数据科学家快速构建、训练、部署和管理人工智能模型。在使用阿里云人工智能平台PAI进行操作时,可能会遇到各种类型的错误。以下列举了一些常见的报错情况及其可能的原因和解决方法。
|
1月前
|
机器学习/深度学习 人工智能 运维
人工智能平台PAI 操作报错合集之请问Alink的算法中的序列异常检测组件,是对数据进行分组后分别在每个组中执行异常检测,而不是将数据看作时序数据进行异常检测吧
阿里云人工智能平台PAI (Platform for Artificial Intelligence) 是阿里云推出的一套全面、易用的机器学习和深度学习平台,旨在帮助企业、开发者和数据科学家快速构建、训练、部署和管理人工智能模型。在使用阿里云人工智能平台PAI进行操作时,可能会遇到各种类型的错误。以下列举了一些常见的报错情况及其可能的原因和解决方法。
|
1月前
|
数据采集 机器学习/深度学习 人工智能
|
1月前
|
机器学习/深度学习 SQL 人工智能
人工智能平台PAI产品使用合集之如何通过机器学习PAI 的Alink实现大量数据两两计算相关性
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
1月前
|
机器学习/深度学习 数据采集 人工智能

热门文章

最新文章