云栖实录 | 阿里云 OpenLake 解决方案重磅发布:多模态数据统一纳管、引擎平权联合计算、数据共享统一读写

本文涉及的产品
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介: 阿里云 OpenLake 解决方案重磅发布,构建大数据、搜索、AI 一体化的能力体系,实现多模态数据统一纳管、多种计算引擎平权计算、大数据 AI 一体化开发,助力企业基于数据资产构筑竞争力。

新一轮人工智能浪潮正在重塑世界,以生成式 AI 为代表的技术快速应用,推动了数据与智能的深化融合,同时也给数据基础设施带来了全新的变革与挑战。面向 AI 时代的数据基础设施如何构建?底层数据平台架构在 AI 时代如何演进? 9月20日,2024云栖大会 OpenLake 解决方案专场带来了全方位的解读。

image.png


行业技术趋势迫切需要融合的数据平台

全球权威研究机构 Forrester 和阿里云在云栖大会 OpenLake 专场联合发布了《数据+AI 联合趋势洞察暨阿里云 OpenLake 解决方案》。Forrester VP、首席分析师戴鲲表示:加速转型企业数据管理与人工智能战略,切实推动企业业务成长迫在眉睫。AI 时代数据管理包含五个方面:

  • 构建互联智能框架,提升数据基础设施的人工智能就绪度;
  • 拥抱全局数据管理和 DataOps,简化数据运维;
  • 聚焦端到端数据管理,加速用例落地;
  • 优先考虑 AI 赋能的数据管理,实现智能与敏捷;
  • 用例驱动的数据管理解决方案将进一步演进。


融合数据平台将在数据基础设施中发挥关键作用。数据湖仓将为企业带来显著战略价值:快速构建一体化数据分析平台,加速获取 AI 赋能的业务洞察,有效降低数据基础设施与管理成本。


OpenLake:构建大数据、搜索、AI 一体化能力体系

面对 AI 时代的现代企业数据管理,阿里云智能集团研究员、阿里云计算平台产品负责人徐晟正式对外发布了 OpenLake 解决方案,构建大数据、搜索、AI 一体化的能力体系,实现多模态数据统一纳管、多种计算引擎平权计算、大数据 AI 一体化开发,助力企业基于数据资产构筑竞争力。

  • OpenLake 建立在 OSS 开放的公共数据湖仓基础之上,使用元数据管理平台 DLF 统一管理结构化、半结构化和非结构化数据,提供湖仓数据的安全访问机制、文件增删查改能力和 I/O 加速能力。
  • 在引擎层,包含 PAI、MaxCompute、Hologres、Flink、EMR StarRocks、EMR Spark、AI 搜索引擎在内的各类计算引擎,可以访问同一份数据并进行协同计算,消除数据壁垒和存储冗余。
  • 在开发层,DataWorks 提供一体化的 IDE+Notebook 模式,实现多引擎 SQL 和 Python 统一开发,并提供多任务可视化调度保障。

D170DBB9-4ADC-46cb-828C-52ED8963194C.jpg


当被问到为什么是阿里云有信心做 OpenLake 方案?


徐晟表示:


首先,OpenLake 包含的每个产品至少经过四至五年以上的迭代,而且有足够大的客户群体,每个产品都是经过不同行业需求的客户的打磨;


其次,阿里云有专业的团队,OpenLake 包含的所有产品都具有足够专业性和技术领先性,对于真正的用户来说,他需要专业的支持和服务,市场上只是把一些开源的引擎搭到一起做一个整合,这个是远远不够的;


最后,我们会做到的性价比最优,大幅降低客户的使用成本。


OpenLake 的应用场景非常广泛,包括:统一湖存储、基于 Flink 新一代流式湖仓、基于 Hologres/StarRocks 的新一代实时查询湖仓、基于 MaxCompute 和 Hologres 的经典流批查询湖仓、基于 AI 搜索的多模态 RAG 检索增强、以 DataWorks 为核心的大数据 AI 多引擎协同开发等。


阿里云 OpenLake 解决方案免费试用活动已于9月20日正式上线,企业用户可以一键开通体验,欢迎对 OpenLake 感兴趣的客户开通测试。


前往测试>>

https://dataworks.console.aliyun.com/openlake/template?sso=true&regionId=cn-hangzhou

相关实践学习
基于EMR Serverless StarRocks一键玩转世界杯
基于StarRocks构建极速统一OLAP平台
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
目录
相关文章
|
6月前
|
存储 弹性计算 安全
构建高效企业应用架构:阿里云产品组合实践深度解析
该方案展现了阿里云产品组合的强大能力和灵活性,不仅满足了当前业务需求,也为未来的扩展打下了坚实的基础。希望本文的分享能为读者在设计自己的IT解决方案时提供一定的参考和启发。
372 1
|
6月前
|
存储 监控 安全
《SelectDB 新一代日志存储分析平台解决方案》白皮书重磅发布|立即下载
作为基于 Apache Doris 打造的现代化数据仓库,SelectDB 不拘泥于传统数仓的限制,针对日志数据的特点引入了多项创新性技术,使用户可基于 SelectDB 构建开放、高性能、低成本、统一的日志存储分析平台, 截至目前已在近百家行业内知名企业中落地。
《SelectDB 新一代日志存储分析平台解决方案》白皮书重磅发布|立即下载
|
7月前
|
数据采集 存储 SQL
【开源项目推荐】OpenMetadata——基于开放元数据的一体化数据治理平台
【开源项目推荐】OpenMetadata——基于开放元数据的一体化数据治理平台
1175 3
|
运维 搜索推荐 API
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——9. 开放能力:自由拓展,满足企业个性化需求
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——9. 开放能力:自由拓展,满足企业个性化需求
305 0
|
运维 Cloud Native 微服务
带你读《云原生架构白皮书2022新版》——组织能力视角
带你读《云原生架构白皮书2022新版》——组织能力视角
151 9
|
人工智能 NoSQL Cloud Native
2023开放原子全球开源峰会,蚂蚁图计算平台开源业内首个工业级流图计算引擎
2023开放原子全球开源峰会,蚂蚁图计算平台开源业内首个工业级流图计算引擎
2023开放原子全球开源峰会,蚂蚁图计算平台开源业内首个工业级流图计算引擎
|
存储 云计算
阿里云产品体系分为6大分类——云计算基础——存储服务——智能存储
阿里云产品体系分为6大分类——云计算基础——存储服务——智能存储自制脑图
362 1
阿里云产品体系分为6大分类——云计算基础——存储服务——智能存储
|
SQL 数据采集 运维
Dataphin V3.7 版本发布!通过国产化适配、数据研发体验优化、数据治理能力提升和标签平台,帮助企业加速构建数据中台
本次发布的V3.7版本中,Dataphin重点围绕资产建设平台的易用性及可交付性、资产治理平台的完备性以及基础平台的稳定性和开放性进行优化与升级。通过国产化支持适配、数据研发体验优化、数据治理能力提升和标签平台,帮助企业加速构建企业级数据中台,轻松拥有好数据!
Dataphin V3.7 版本发布!通过国产化适配、数据研发体验优化、数据治理能力提升和标签平台,帮助企业加速构建数据中台
|
运维 安全 Cloud Native
PingCAP 与阿里云计算巢联合方案深度解析:数据库软件在云端部署的新形态
本文是PingCAP上架到计算巢的方案介绍,原文请查看:https://mp.weixin.qq.com/s/haE7GwFv3R2NQscnVIlClg把复杂留给自己,把简单留给用户一直是阿里云坚持的产品理念。企业级开源分布式数据库厂商 PingCAP 创始人兼 CEO 刘奇也曾说:“PingCAP 未来仍将坚持做好一件简单的事情,那就是让数据库回归本来的样子,将复杂交给 TiDB,把简单留给用
330 0
PingCAP 与阿里云计算巢联合方案深度解析:数据库软件在云端部署的新形态
|
SQL 消息中间件 分布式计算
基于开放共享的自主研发—MaxCompute 持续增强生态与开放性建设
MaxCompute 是阿里巴巴自研的云原生数据仓库,同时也兼容大部分大数据生态系统。一个平台无法实现所有功能和解决所有问题,MaxCompute 需持续增强生态与开放性建设,方能走得更远。
1211 2
基于开放共享的自主研发—MaxCompute 持续增强生态与开放性建设