数据+AI融合趋势洞察暨阿里云OpenLake解决方案发布

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
简介: Forrester是全球领先的市场研究与咨询机构,专注于新兴技术在各领域的应用。本文探讨如何加速现代数据管理,推动人工智能与客户业务的融合创新。面对数据标准缺乏、多云环境复杂性、新兴业务场景及过多数据平台等挑战,Forrester提出构建AI就绪的数据管理基石,通过互联智能框架、全局数据管理和DataOps、端到端数据管理能力、AI赋能的数据管理以及用例驱动的策略,帮助企业实现数据和AI的深度融合,提升业务价值并降低管理成本。

Forrester是全球最大的独立市场,研究与咨询机构之一,领导全球关于新兴技术在不同领域的研究工作,像大模型,云原生还有数据管理。今天分享的内容是如何加速现代数据管理,帮助客户和人工智能一起融合创新。


在过去的18个月,特别是最近的云栖大会,已经深切的感受到新一轮的人工智能的浪潮在重塑整个世界,从每一个在座的朋友本职的工作,到所处的企业、所面对的客户群体,还有社会的方方面面,在每一个不同的场景都看到人工智能和客户的数据管理协同影响着整个世界,Forrester总结七个不同的领域,也是客户看到的最为主流的业务场景,分别是内容的创建,各种各样的文本、语音、视频等,以及客户的服务,从线上到线下,现代知识管理包括对于各种各样知识的生成,获取、管理和治理等,以及文档的自动化,比如生成文档,进行文档的摘要,还有定义的图灵机器人,面向各种各样开发人员的代码助手,以及智能体,以及各种各样的工作空间助理-Copilot。各个行业的数字化创新,好像是非常美好的PPT未来。


但实际上中国乃至于全球的各个行业都面临着现代数据管理的严峻挑战。总结有五个主要的方面。首先,第一个方面是来自于数据标准的缺乏,每一个企业自身都有很多的私有数据,它的格式,它的数据的策略都非常的封闭,导致企业的数据管理日益的复杂,效率非常的低下。第二点来自整个的云环境,现在多云、混合云、边缘云分布式的环境是常态化的选择,对于企业自身的数据性能,数据的质量,数据的集成等方面都带来挑战。第三个方面来自于新兴的业务场景,看到RAG检索增强生成,AIOps,包括计算机视觉,智能决策不同的新的业务场景。对于大数据的各个V,数据的规模、数据的来源、数据的类型、数据的变化的频次等都变得越来越规模化,使数据管理越来越费时费力。第四点是过多的数据管理相关的技术平台。在过去二三十年,国家信息化到数字化到数质化的旅程中,有越来越多的平台被企业所采用,面向交易,面向运营,面向客户分析的有关系型数据库,NoSQL数据库,内存数据库,以及向量数据库,各种各样不同的数据平台都得到使用。


研究表明,每个企业现在都有至少20种不同的数据平台,这是非常复杂的事情,最为关键的一点是来自于生成式人工智能对于整个企业的挑战。五年前论文里面提到的基础模型的五个方面的问题,幻觉,相关性,准确性,内存的占用等,现在依然没有完全解决,各个场景本身所需要具备的能力,比如PPT上面展现出来的RAG,对于RAG整个架构的分析,需要包含非常多的能力,从底层各种各样的组件,到上层各种各样的全方位的能力,不是一朝一夕之功,需要有一个非常坚实的数据基础提供支撑,面对五方面的挑战该怎样去做,非常简单,只需要做两件事情,第一件事情需要构建一个AI就绪的数据管理的基石,需要借助互联智能框架(Connected intelligence Framework)。这张图上看到框架的八个组成要素,从一开始数据的发现与搜寻,一直到数据的观测与评估,每个方面都需要有能力的提升,比如数据发现与搜寻里面需要有效的表达业务的需求,在数据的测试与训练需要提升用户的信任,在交付与部署层面需要实现规模化的应用,这些都需要在很多不同的层次上面进行投入。


第一个方面需要拥抱全局数据管理和DataOps帮助简化数据的运维工作,这一方面需要拥抱包括数据湖仓,Data Fabric数据编织或者数据的构架以及全局的分布式数据平台,使客户能够对所有的数据有一体化的视角。同时需要面向分布式的云环境,对企业内部的数据和原数据有效的治理和管理。


第二个方面是需要聚焦端到端。Forrester认为端到端有三层不同的含义。首先在最上面需要有一个集成的原数据,有集成的数据的策略,有集成的数据AI的模型,中间需要一个端到端的数据管理的能力,从开始数据的获取到最后数据的质量都能有效的把控,底层需要有各种各样的数据的组件,助力端到端能力的交付。这样的架构需要包括数据库仓,数据网格等不同领域的技术和平台,使它快速的实现。


第三个方面是需要优先考虑AI赋能的数据管理,Data for AI,AI也要for Data,需要将AI的能力融入到数据管理的每一个环节,从而具备自助服务的能力,具备主动式服务的能力,具备面向语义、面向自管理和一体化的能力,这可以帮助交付右边所列出来的商业价值,比如可以更加敏捷的去交付应用,更加有效的进行数据洞察的获取,第四个方面是用例驱动,现在企业内部的各种各样的人工智能的领域复杂,各种用例需要具备不同的底层的基础设施的支撑,从RAG到CDP到物联网到数据共享平台,应有效的提升价值,价值的提升需要将底层的各种能力有效的进行组装,通过组装式搭积木的方式帮助对用例提供支撑。


最后是融合数据平台,融合数据平台体现在三个不同的层次上面,中间也是最为核心的是分析平台,数据仓库和数据湖正在向着数据湖仓快速的融合,它和对象存储,和客户的分运行,数据库和NoSQL数据库进一步的融合,成为分析型的数据管理平台。左边是多模态,右边是Translyti cal或者Gen第二代,两方面都有自身所融合的内容。在五个重要的发展方向上,如果能做好相关的举措,就可以有效的实现AI就绪的数据基础设施。突出强调数据湖仓的重要意义,可以为企业带来非常显著的战略价值,一方面帮助快速的构建一体化的数据分析平台,另一方面也可以加速获取AI赋能的业务洞察。最后有效的降低数据管理基础设施的成本。看这张PPT,里面列出Forrester定义的关于数据湖仓的19项重要的能力,从一开始对各种各样的数据类型的支撑到数据工程化的能力,到数据的集成包括数据的治理,对于整体的数据管理的把控,如果有效的进行对比,可以很清晰的看到和传统的数据湖或者是数据仓库比较,数据湖仓可以有效的弥补原先的空白,或者将原先的能力进行大幅度的提升,差异化的优势对整体能力的把控非常关键,这是第一步,也是最为重要的一步。还需要具备一个全局的视角,从平台实现以及合作伙伴三个方面进一步的加速数据管理和人工智能的融合创新。平台需要将云原生将现代数据管理和AI的能力有机的融为一体,从左到右是从数据管理到模型的开发、训练和服务,贯穿全生命周期的是Model-as-a-Service的全生命周期。从下到上是从AI原生的基于云原生架构的基础设施,到中间层的各种各样的开发的能力,到最上层的应用的服务都可以有效的进行赋能。


在实践中,Forrester强调三方面。第一个方面不需要期待一个killer APP一个杀手机的应用,应当期待的是AI的能力可以帮助企业的方方面面,每一个业务条件,每一个业务的领域都可以实现微增强。第二点在最右边,是流程,只有将各种各样的能力和流程,比如智能体和传统的流程有机的进行编排,才可以发挥人工智能的最大效能。而底层的数据基础设施是贯穿整个流程的重要的抓手,中间是新的挑战来自于数据和AI双方向的治理。以前叫做shadow IT,影子IT,现在叫shadow AI,影子AI。对人工智能的极大的热情引入新的风险,合规性的风险、安全的风险、隐私的风险,需要有机的进行治理,才可以将数据的价值发挥到最大化。


最后是合作伙伴,选择的并不是某一个平台或者某一种技术,选择的是在未来漫长的征程之中,能够携手同行的合作伙伴,这是为什么Forrester强调在选择之中,需要聚焦四个方面,其中的技术和工程非常重要,合作伙伴也应当需要具备对业务场景的影响能力,对业务的洞察,也需要能够具备对咨询服务和生态的能力。更需要具备自身的数据和AI的人才,只有将这四个方面有机的融合起来,才可以更加有效的将数据和AI融合起来。为企业的人工智能的发展奠定坚实的基础。想要加速转型,加速客户企业数据管理和人工智能战略的转型,从而切实的推动企业业务的成长,需要打造AI就绪的数据管理基石,并且借助于平台实践、和合作伙伴三个方面的融合进一步的成长。

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
1天前
|
机器学习/深度学习 人工智能 算法
FinRobot:开源的金融专业 AI Agent,提供市场预测、报告分析和交易策略等金融解决方案
FinRobot 是一个开源的 AI Agent 平台,专注于金融领域的应用,通过大型语言模型(LLMs)构建复杂的金融分析和决策工具,提供市场预测、文档分析和交易策略等多种功能。
40 13
FinRobot:开源的金融专业 AI Agent,提供市场预测、报告分析和交易策略等金融解决方案
|
3天前
|
人工智能 运维 Kubernetes
阿里云容器服务AI助手2.0 - 新一代容器智能运维能力
2024年11月,阿里云容器服务团队进一步深度融合现有运维可观测体系,在场景上覆盖了K8s用户的全生命周期,正式推出升级版AI助手2.0,旨在更好地为用户使用和运维K8S保驾护航。
|
5天前
|
机器学习/深度学习 数据采集 人工智能
AI在用户行为分析中的应用:实现精准洞察与决策优化
AI在用户行为分析中的应用:实现精准洞察与决策优化
46 15
|
5天前
|
机器学习/深度学习 人工智能 安全
阿里云先知安全沙龙(武汉站) ——AI赋能软件漏洞检测,机遇, 挑战与展望
本文介绍了漏洞检测的发展历程、现状及未来展望。2023年全球披露的漏洞数量达26447个,同比增长5.2%,其中超过7000个具有利用代码,115个已被广泛利用,涉及多个知名软件和系统。文章探讨了从人工审计到AI技术的应用,强调了数据集质量对模型性能的重要性,并展示了不同检测模型的工作原理与实现方法。此外,还讨论了对抗攻击对模型的影响及提高模型可解释性的多种方法,展望了未来通过任务大模型实现自动化漏洞检测与修复的趋势。
|
3天前
|
人工智能 分布式计算 数据处理
MaxCompute Data + AI:构建 Data + AI 的一体化数智融合
本次分享将分为四个部分讲解:第一部分探讨AI时代数据开发范式的演变,特别是MaxCompute自研大数据平台在客户工作负载和任务类型变化下的影响。第二部分介绍MaxCompute在资源大数据平台上构建的Data + AI核心能力,提供一站式开发体验和流程。第三部分展示MaxCompute Data + AI的一站式开发体验,涵盖多模态数据管理、交互式开发环境及模型训练与部署。第四部分分享成功落地的客户案例及其收益,包括互联网公司和大模型训练客户的实践,展示了MaxFrame带来的显著性能提升和开发效率改进。
|
2天前
|
存储 人工智能 运维
AI + 可观测最佳实践:让业务从“看见”到“洞察”
本文介绍了AI Ops的概念及其在提升系统运维效率、洞察力和可观测性方面的作用。主要内容分为三个部分:一是监控、观测与洞察的区别及挑战,强调了数据整合和语义对齐的重要性;二是AI与计算如何重塑可观测性,通过UModel数字图谱和多模态存储分析架构实现数据联通;三是最佳实践与未来展望,展示了阿里云AI Stack可观测解决方案的应用案例,并总结了可观测性的四个发展阶段,最终愿景是借助AI力量让每个人成为多领域的专家。
|
4天前
|
人工智能 安全 算法
PAI负责任的AI解决方案: 安全、可信、隐私增强的企业级AI
在《PAI可信AI解决方案》会议中,分享了安全、可信、隐私增强的企业级AI。会议围绕三方面展开:首先通过三个案例介绍生活和技术层面的挑战;其次阐述构建AI的关键要素;最后介绍阿里云PAI的安全功能及未来展望,确保数据、算法和模型的安全与合规,提供全方位的可信AI解决方案。
|
17天前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术深度解析:从基础到应用的全面介绍
人工智能(AI)技术的迅猛发展,正在深刻改变着我们的生活和工作方式。从自然语言处理(NLP)到机器学习,从神经网络到大型语言模型(LLM),AI技术的每一次进步都带来了前所未有的机遇和挑战。本文将从背景、历史、业务场景、Python代码示例、流程图以及如何上手等多个方面,对AI技术中的关键组件进行深度解析,为读者呈现一个全面而深入的AI技术世界。
85 10
|
6天前
|
机器学习/深度学习 人工智能 自动驾驶
企业内训|AI大模型在汽车行业的前沿应用研修-某汽车集团
本课程是TsingtaoAI为某汽车集团高级项目经理设计研发,课程全面系统地解析AI的发展历程、技术基础及其在汽车行业的深度应用。通过深入浅出的理论讲解、丰富的行业案例分析以及实战项目训练,学员将全面掌握机器学习、深度学习、NLP与CV等核心技术,了解自动驾驶、智能制造、车联网与智能营销等关键应用场景,洞悉AI技术对企业战略布局的深远影响。
134 97
|
11天前
|
机器学习/深度学习 人工智能 物联网
AI赋能大学计划·大模型技术与应用实战学生训练营——湖南大学站圆满结营
12月14日,由中国软件行业校园招聘与实习公共服务平台携手魔搭社区共同举办的AI赋能大学计划·大模型技术与产业趋势高校行AIGC项目实战营·湖南大学站圆满结营。
AI赋能大学计划·大模型技术与应用实战学生训练营——湖南大学站圆满结营