媒体声音|阿里云王远:一站式数据管理平台的智能化跃迁

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
RDS PostgreSQL Serverless,0.5-4RCU 50GB 3个月
推荐场景:
对影评进行热评分析
简介: 在DTCC 2024大会上,阿里云数据库产品管理与技术架构部负责人王远与IT168 & ITPUB特约嘉宾薛晓刚就数据库与AI技术的融合、云原生数据库的新趋势及向量数据库的支撑能力等热点话题进行了深入探讨。王远认为,Data+AI不仅是一个概念,已进入实际落地阶段。在智能化时代,单一数据库引擎难以满足多元业务需求,需要构建统一的数据管理能力,以支持不同工作负载。阿里云通过“瑶池”数据库品牌,提供云原生、平台化、一体化和智能化的数据库解决方案,助力用户应对复杂的数据管理挑战。

智能时代,数据库、数据和AI技术之间,在底层逻辑上发生了哪些重要变化?DTCC 2024大会期间,阿里云数据库产品管理与技术架构部负责人、PolarDB开源社区技术委员会主席王远,与IT168 & ITPUB特约嘉宾薛晓刚,进行了一场深度对话,就数据库与AI技术的深入融合、云原生数据库的新趋势、向量数据库的支撑能力等热点话题,展开了深入沟通与讨论。image.png
在王远看来,Data+AI不只是一个概念,而是已经进入实际落地阶段。同时,在新的应用环境下,需要支撑的场景有很多,单一数据库引擎已经无法满足业务需求,用户更希望通过不同引擎承载不同的工作负载。因此,在整体架构上,需要构建一个像“搭积木”一样便捷的统一数据管理能力,才能满足智能化时代需求。再谈数据管理
“数据、AI、算力是智能时代的三要素,也是一个递进式的数据平台模型。”王远借用DIKW经济学模型,形象地解释了从数据到智能化的转化路径。

如果说数据平台是一个类似于“金字塔”的底座,处于最底层的是数据(Data),再往上是信息(Information)、知识(Knowledge),最顶层的是智慧(Wisdom)。其中,数据库所扮演的角色是数据管理的基石,承载着从数据到信息再到知识的三层交互,而大模型的出现,则把数据管理中上层的知识与智慧之间的鸿沟逐渐填平。

然而,数据管理能力的跃迁并不是凭空出现,而是技术发展的结果。人类从有计算机开始,就在进行数据管理,只不过早期的数据管理受制于存储设备限制,容量空间有限,导致数据不能长期保存、数据不能共享。数据管理能力得到跨越式发展,是因为数据库系统的诞生。在20世纪60年代,随着计算机管理对象的规模越来越大、数据量急剧增长,多种应用进行数据集合的要求越来越强烈,数据库技术顺势而生。数据库的核心作用在于,提供了一种高效、可靠的数据存储与管理方式,并且方便用户访问和查询数据。

走到今天,智能化时代来临,数据库、云原生、人工智能开始真正“握手”,走向深度融合的新时期,以至于数据管理的整个平台架构也跟着发生了微妙变化。
02

智能底座的进化
在全新的Data+AI时代里,发生了三件大事:
一、OpenAI收购了数据库分析公司Rockset。OpenAI收购的目的是想构建更坚实的数据底座,而Rockset能提供两个关键能力:一个是多维索引,另一个是实时性。这说明,AI时代,对数据检索的要求不是变弱了,而是越来越强了。
二、向量数据库快速发展。向量就是特征,向量数据库的检索和传统数据库精确的检索结合,可以给用户创造更灵活、更贴合业务场景的一种检索模式,甚至是更可理解的检索模式。
三、具身智能的突破。“具身智能”是AI里面的行为主义,强调输入和反馈,更需要对海量多模数据管理的提升,包括对环境的快速感知能力,不仅要理解、决策,还要拿到反馈。这时候的数据平台呈现两个特点:一个是多模,另一个是实时。多模,意味着能在海量数据的基础上处理多种类型的数据;实时,让数据库的应用范围进一步拓宽,同时在查询和体验上能变得更易用。
每件事都在从不同角度说明,人类已真正进入了智能化变革期,数据平台的底座迎来了新的跃迁。阿里云数据库产品管理与技术架构部负责人、PolarDB开源社区技术委员会主席王远表示,智能数据平台的底座可以分为三层:最底层,是基础设施层,包括存储、计算,这是传统数据库以及云数据库特别擅长的点;最上层,是端到端的智能化服务,目前主要以RAG服务为代表,面向用户以及开发者提供模型、算法管理、向量检索能力,特别是需要把向量检索基于SQL的检索结合起来。中间层,是智能数据平台的“大脑”,包括数据的统一、现代数据开发、Copilot智能。
从云数据库的发展方向来看,AI时代的云原生数据库要实现“四化”,即云原生化、平台化、一体化和智能化。本质是希望把各种各样的云资源利用起来,通过一系列的管控以及内核解耦技术,帮助用户降低云数据库的使用门槛、将业务价值最大化。与传统数据库相比,AI时代的云数据库不再是资源视角,而是能力视角,用户更关注业务的使用情况,而不是要买多少云服务器,多少G的内存。

03

打磨一站式数据管理平台

为了满足Data+AI时代的用户需求,阿里云通过“瑶池”打造整体云数据库品牌,应对智能数据平台的不同场景考验。
就具体的产品类型来看,阿里云瑶池数据库分为四大类,包括:OLTP数据库、OLAP数据库, NoSQL数据库,以及相关的数据管理工具,包括DMS数据管理、DTS数据传输、数据库备份等。
据王远介绍,阿里云瑶池旗下包括3款核心的自研数据库,分别是PolarDB、AnalyticDB,还有Lindorm。其中,PolarDB是自研的云原生关系型数据库,主要应对OLTP场景;AnalyticDB(简称 ADB)应对的是OLAP场景,与云原生存储进行了深入融合,能提供大数据场景下更具性价比的解决方案;Lindorm是一款云原生多模数据库,随着HBase的发展在多模方向拓展应用边界,可支持从早期的宽表模型到现在的时序、时空、向量、 JSON等多种数据,不仅可以处理结构化和非结构化数据,同时也集成了AI训练和推理能力。
提到AI,我们很自然地会想到向量数据库。目前阿里云瑶池数据库的全系产品均已支持向量能力,但各自技术路线不同。对于开源类产品,如RDS系列基本走的是开源路线,最典型的产品是RDS PostgreSQL,集成了PG Vector插件,兼容开源生态;自研向量检索引擎FastANN主要用于自研数据库产品,比如AnalyticDB PG、PolarDB PG、Lindorm、Tair都集成了自研向量引擎。
王远表示,由于云上用户较多,应用场景也更多元,单一数据库引擎很难满足所有用户需求。采用不同引擎承载不同的工作负载,并且让用户拥有一站式数据管理平台的使用体验,这是阿里云瑶池数据库产品一直打磨的方向:
第一:通过云原生Serverless,持续降低用户的数据库使用门槛;
第二:一体化、一站式。阿里云瑶池拥有庞大的用户群体和业内最丰富的云数据库产品家族。瑶池数据库目标为用户提供开箱即用的数据库产品,这一理念也指引着我们的技术方向。用户无需关注负载管理、智能路由、数据冷热分层等技术细节,全部可通过“瑶池数据库”一站式完成。
这也引申出第三个方向:多模。无论是云厂商,还是经典老牌数据库企业,未来都会向着这个方向探索。向量技术的发展,正逐步走向成熟,目前已能够满足经典应用场景。向量最大的意义是打破了结构化与非结构化数据之间的界限,“万物皆可特征化”。按此逻辑,数据库甚至数据平台,一定会向着包罗万象的方向前进,未来将承接各种各样的数据类型。
第四:AI4DB,AI技术与数据库的结合。之前三个方向讨论的都是数据库技术如何支撑AI,但AI也能为数据库赋能。从资深DBA角度出发,可以用AI免运维。更高层次的,如数据开发、数据应用、数据服务等都可以通过AI降低门槛,这也是未来的方向之一。
在Data+AI驱动的云原生数据库发展路线图中,云原生和AI将是最给力的 “助攻”,帮助用户拥抱AI时代。

相关实践学习
MySQL基础-学生管理系统数据库设计
本场景介绍如何使用DMS工具连接RDS,并使用DMS图形化工具创建数据库表。
相关文章
|
3月前
|
物联网 数据管理 Apache
拥抱IoT浪潮,Apache IoTDB如何成为你的智能数据守护者?解锁物联网新纪元的数据管理秘籍!
【8月更文挑战第22天】随着物联网技术的发展,数据量激增对数据库提出新挑战。Apache IoTDB凭借其面向时间序列数据的设计,在IoT领域脱颖而出。相较于传统数据库,IoTDB采用树形数据模型高效管理实时数据,具备轻量级结构与高并发能力,并集成Hadoop/Spark支持复杂分析。在智能城市等场景下,IoTDB能处理如交通流量等数据,为决策提供支持。IoTDB还提供InfluxDB协议适配器简化迁移过程,并支持细致的权限管理确保数据安全。综上所述,IoTDB在IoT数据管理中展现出巨大潜力与竞争力。
106 1
|
1月前
|
安全 NoSQL 关系型数据库
阿里云数据库:构建高性能与安全的数据管理系统
在企业数字化转型过程中,数据库是支撑企业业务运转的核心。随着数据量的急剧增长和数据处理需求的不断增加,企业需要一个既能提供高性能又能保障数据安全的数据库解决方案。阿里云数据库产品为企业提供了一站式的数据管理服务,涵盖关系型、非关系型、内存数据库等多种类型,帮助企业构建高效的数据基础设施。
53 2
|
1月前
|
数据采集 DataWorks 数据管理
DataWorks不是Excel,它是一个数据集成和数据管理平台
【10月更文挑战第10天】随着大数据技术的发展,企业对数据处理的需求日益增长。阿里云推出的DataWorks是一款强大的数据集成和管理平台,提供从数据采集、清洗、加工到应用的一站式解决方案。本文通过电商平台案例,详细介绍了DataWorks的核心功能和优势,展示了如何高效处理大规模数据,帮助企业挖掘数据价值。
81 1
|
1月前
|
数据采集 SQL DataWorks
DataWorks不是Excel,它是一个数据集成和数据管理平台
【10月更文挑战第5天】本文通过一家电商平台的案例,详细介绍了阿里云DataWorks在数据处理全流程中的应用。从多源数据采集、清洗加工到分析可视化,DataWorks提供了强大的一站式解决方案,显著提升了数据分析效率和质量。通过具体SQL示例,展示了如何构建高效的数据处理流程,突显了DataWorks相较于传统工具如Excel的优势,为企业决策提供了有力支持。
88 3
|
2月前
|
数据采集 人工智能 数据管理
数据管理进化论:DMS助力企业实现智能Data Mesh
Gartner分析师认为Data Mesh对企业提升数据价值交付效率具有重要意义,阿里云数据管理服务DMS给出了对于Data Mesh的核心思考,包括企业什么时候应该考虑实施Data Mesh,如何解决业务团队素养和意愿问题。结合这些思考,DMS提出了企业可行的落地策略,即企业应以数据价值不断提升为导向,基于元数据驱动的Fabric、AI等能力实现智能Data Mesh,最终形成分布式和集中化的动态平衡,以达到企业数据驱动的最佳状态。
414 6
数据管理进化论:DMS助力企业实现智能Data Mesh
|
1月前
|
NoSQL 数据管理 关系型数据库
利用阿里云的尖端数据库解决方案增强游戏数据管理
利用阿里云的尖端数据库解决方案增强游戏数据管理
|
2月前
|
人工智能 数据管理 数据挖掘
智能数据管理
智能数据管理
|
3月前
|
机器学习/深度学习 前端开发 数据挖掘
基于Python Django的房价数据分析平台,包括大屏和后台数据管理,有线性、向量机、梯度提升树、bp神经网络等模型
本文介绍了一个基于Python Django框架开发的房价数据分析平台,该平台集成了多种机器学习模型,包括线性回归、SVM、GBDT和BP神经网络,用于房价预测和市场分析,同时提供了前端大屏展示和后台数据管理功能。
100 9
|
4月前
|
SQL NoSQL 数据管理
数据管理DMS使用问题之如何批量导入MongoDB的数据文件
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
14天前
|
关系型数据库 分布式数据库 数据库
云栖大会|从数据到决策:AI时代数据库如何实现高效数据管理?
在2024云栖大会「海量数据的高效存储与管理」专场,阿里云瑶池讲师团携手AMD、FunPlus、太美医疗科技、中石化、平安科技以及小赢科技、迅雷集团的资深技术专家深入分享了阿里云在OLTP方向的最新技术进展和行业最佳实践。

热门文章

最新文章

相关产品

  • 数据管理