媒体声音|专访阿里云数据库周文超博士:AI就绪的智能数据平台设计思路

本文涉及的产品
RDS PostgreSQL Serverless,0.5-4RCU 50GB 3个月
推荐场景:
对影评进行热评分析
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
简介: 揭秘阿里云DMS+X一站式Data+AI平台底层构建逻辑

文章转载自:CSDN

编辑:宋慧


在生成式AI的浪潮中,数据的重要性日益凸显。大模型在实际业务场景的落地过程中,必须有海量数据的支撑:经过训练、推理和分析等一系列复杂的数据处理过程,才能最终产生业务价值。事实上,大模型本身就是数据处理后的产物,以数据驱动的决策与创新需要通过更智能的平台解决数据多模处理、实时分析等问题,这正是以阿里云为代表的企业推动 “Data+AI”融合战略的核心动因。那么,“Data+AI” 对于数据处理究竟意味着什么?从字面意义来理解,Data+AI是指将数据和人工智能结合起来,支持数据从收集、准备到模型开发、部署、迭代、监控的全流程。与传统数据管理模式相比,Data+AI更侧重AI原生化、一体化、多模化等理念。

image.png

阿里云数据库产品事业部AnalyticDB PostgreSQL及生态工具部负责人 周文超


从数据工程与业务实践的角度来看,由离线数据处理到实时数据处理,再到今天的Data+AI时代,数据处理的底层逻辑到底发生了怎样的变化?为何多模处理能力变得越来越重要?我们邀请了在学术界和产业界均有丰富经验的周文超博士,他现在是阿里云数据库产品事业部AnalyticDB PostgreSQL及生态工具部负责人。周文超博士从数据管理平台变化角度出发,结合阿里云DMS+X底层技术构建路径,深入分析Data+AI智能平台构建的现状与未来。他认为,今天的数据处理正在向多模融合方向发展,一站式的多模处理能力将是未来数据管理的标配。

1、智能升级加速,数据管理平台机遇与挑战并存

生成式AI重塑一切,很多工作的生产效率得到了极大提升,当AI内容生产和代码生成表现出接近甚至赶超人类的能力时,原有的数据管理模式也面临着巨大变革。与过去相比,今天的数据处理在数据量、数据类型、处理深度,以及与AI计算的融合等方面,都发生了显著的变化。这些变化不仅提高了数据处理的效率和准确性,还为AI的创新发展提供了有力的支持。


生成式AI虽然带来了前所未有的机遇,让企业在流程化、个性化服务创新过程中找到新的路径,但也存在着诸多挑战。面对Data+AI融合趋势的数据处理难点,周文超博士概括了三点:第一,数据的多模态化;第二,算力的多元融合;第三,数据处理的实时性。


数据的多模态:数据类型不再局限于传统的结构化数据,而是包括了图片、文档、图、时序、交易等多种模态的数据,比如:IoT设备数据、车机图像数据等,这些多模数据是数据处理和分析的一大挑战。


算力的多元融合:算力也朝着多模态和异构方向发展。过去,无论是在操作系统、数据库、离线数据处理还是实时数据处理中,主要关注的是以CPU为核心的算力。然而,随着大模型的出现,GPU、FPGA、ASIC等硬件逐渐加入到算力矩阵中。特别是GPU,原本用于图形加速和比特币等领域,现在因其能处理更多向量数据,并且可用于矩阵乘法,在算力领域扮演着越来越重要的角色。另外,如何在多样化的算力硬件上合理分配计算任务,以及如何更好地调度和结合不同的异构算力,成为Data+AI领域需要攻克的另一个重要挑战。


数据处理的实时性:实时性也是数据处理领域的一个难点。从最初的离线数据处理,到现今的实时数据处理,我们见证了数据处理走向实时化的过程。过去,数据主要以批次形式处理,一天或一周进行一次分析或训练。后来随着实时分析场景的增加,需要分钟级甚至秒级的数据处理能力,例如:在数据监控平台上,用户希望每秒或每分钟都在更新数据,以便实时了解当前情况。同理,Data+AI也是相同的逻辑。如果几个月才能进行一次训练,那么最近的数据将如何处理?因此,数据管理平台对实时数据的处理,也成为企业必须要面对的一个重要课题。


只有解决了上述问题,Data+AI的落地场景才会变得更加丰富,数据驱动企业智能化升级才会成为可能。

2、阿里云DMS+X一站式数据管理平台设计原理

准确来讲,Data+AI所有数据处理的背后主要源于三个核心要素,即数据、模型与算法、算力,正是这“三驾马车”成为数据管理智能平台能否提升业务效率的关键。


换言之,真正满足用户需求的Data+AI智能平台具有明显的Data Gravity(数据重力)倾向。如何理解Data Gravity概念?用一句话概括,就是让更多的模型、算法和算力向数据靠近,而不是来回迁移数据。因为,搬数据这件事,成本高昂,不能再像二十年前一样,把不同数据进行聚拢,再进行数据下发。现在,基本都是近存计算、存内计算,计算向存储靠近,向数据偏移。


此种背景下,阿里云瑶池数据库推出的Data+AI一站式多模数据管理平台做出几个重要改变:一、是一体化,打破数据生态和部署域的壁垒;二、让数据价值获取的路径变短。


所谓“一体化”,是指为用户打造一个统一的数据管理与开发平台,以优化数据资产的可见性和利用效率。首先,通过一个集中化的界面,让用户能够清晰地查看所有分散在不同来源(如OLTP数据库、OLAP数据库、云存储及自有IDC等)的数据资产,从而更有效地管理数据并控制存储成本,同时获得全局性的数据概览,这一理念体现在阿里云在DMS+X平台中提出的OneMeta+OneOps概念上。其中,OneMeta实现了数据资产的统一元数据管理,包括数据的来源、表结构等关键信息;而OneOps强调了开发平台的统一性,支持从离线到在线、从OLAP到Spark再到AI等多种数据处理场景。通过OneOps概念,DMS+X整合了数据操作、开发运维以及针对大型语言模型等操作,形成一个统一的操作平台,让用户能够在这个平台上完成所有与数据相关的操作,从数据清洗、编排到调用AI模型,从而缩短数据价值获取的路径,使数据价值的挖掘变得更加简单和高效。


值得一提的是,不同数据生态的打通也是DMS+X一大亮点。众所周知,OLTP数据库和OLAP数据库本身数据存储和处理形式不同,中间免不了要进行复杂的ETL转换。秉承Zero-ETL理念,DMS+X在数据转换通路上做了很多工作,让用户无需通过物理复制就能在无感知状态中将ETL效率提升5-10倍。


与此同时,让数据价值它的获取路径变得短,或者说让用户获取价值更简单,也是DMS+X智能平台提供的一个重要价值。为了将数据适配到AI处理的需求,DMS+X还进行了数据的AI ready化处理,如向量化等,使数据更易于被大型语言模型等AI技术理解和处理。此外,DMS+X还提供了Notebook、任务编排、以及结合百炼等智能开发平台的一系列功能,帮助用户更容易地生成带有业务属性的数据处理流程,进一步提升数据价值的挖掘效率。


从目前应用现状来看,阿里云DMS+X的用户主要是互联网、零售、游戏以及泛娱乐领域,这些领域的企业本身就有核心的数据资产,希望通过数据处理能力的提升拓展AI边界,构建AI原生能力,进而实现数据资产的价值最大化。大体来看,企业智能化升级还处于刚刚起步的阶段,未来随着Data+AI融合速度的加快,其他传统领域也一定会全面跟进。


当然,部署Data+AI融合战略的企业不只阿里云一家。与同类竞品相比,阿里云“Data+AI”驱动的DMS+X一站式多模数据管理平台之所以成为各行各业实现数据价值新底座,是“厚积薄发”的结果。比如:生成式AI强调的三层架构(底层基础设施层、中间模型层以及上层应用),阿里云很早就已提出IaaS+PaaS+MaaS全栈产品矩阵。过去几年,不管是IaaS(计算、存储、网络安全)、PaaS(中间件,数据库,计算平台),还是MaaS(通义系大模型),都已做到业内领先。


具体到数据库,经过十余年的应用实践以及技术迭代,阿里云瑶池拥有业界最全面的数据库产品布局,涵盖云原生关系型数据库PolarDB、云原生数据仓库AnalyticDB、云原生多模数据库Lindorm等多款明星产品,可满足用户不同业务需要。技术方面,瑶池旗下的自研数据库拥有三层解耦、多主多写、HTAP、Serverless等全球首创或业内领先的创新能力。其中,PolarDB已完成全球首个大规模商用、基于共享存储的云原生多主数据库实践,并凭此成功摘得了中国首个ACM SIGMODIEEE ICDE的工业赛道“最佳论文奖”。

3、未来:AI就绪,迎接Gen AI时代

尽管在底层技术平台支撑上,人类已经做好了AI就绪的准备,但距离真正的Gen AI时代到来,还有一段距离。周文超博士总结认为,大模型应用层将在未来占据主导地位,尤其是模型的推理应用,其价值将远超训练过程。在此背景下,阿里云瑶池数据库DMS+X发展规划也会变得更加清晰,将聚焦于支持更宏大的推理场景,通过提升用户体验和性价比来推动技术进步。


具体而言,DMS+X将致力于让用户在使用过程中更加便捷、高效,并通过资源混部、垂直领域数据的存储与计算优化等手段,进一步提升资源使用效率。同时,还会更积极地探索如何更高效地使用CPU、GPU、FPGA等算力资源,以期在未来技术落地中发挥重要作用。这些努力不仅体现了阿里云瑶池数据库对未来技术趋势的深刻洞察,也彰显了企业在推动AI技术发展方面的坚定决心和不懈努力。


而从技术人生的视角来看,以周文超博士为代表的研发团队,正以长期主义心态,将战略愿景转化为实际行动,致力于为用户带来更高效、更便捷的智能数据平台体验,推动着AI技术的持续进步和应用的快速拓展。


受访人简介:

周文超,阿里云数据库产品事业部AnalyticDB PostgreSQL及生态工具部负责人,负责云原生数据仓库、数据库工具与管控的研发以及数据库系统与智能方向科研。专注于建设一体化Data+AI数据管理平台,支持日益丰富的数据计算需求和更趋异构化的底层架构,利用资源云化提升智能计算效能。

清华大学计算机系本科,宾夕法尼亚大学计算机与信息科学博士,国家级领军人才,浙江省顶尖人才。毕业后于美国乔治城大学计算机系任教,后升任终身教授。至今在一流国际学术会议与期刊上发表论文70余篇。主要研究方向是计算机系统的设计和实现,涵盖数据库、分布式系统、计算机网络和系统安全等方向。曾获多项重要奖项,包括美国基金委NSF CAREER Award(杰出教授奖),ACM SIGMOD最佳博士论文奖,以及多个学术会议的最佳论文、最佳系统演示奖等。



👉阿里云瑶池数据库为企业客户提供一站式Data+AI开发和管理服务,点击链接即可了解 阿里云Data+AI 产品服务与实践。

👉点击订阅 阿里云Data+AI精彩内容

欢迎加入「阿里云 Data+AI 用户交流群」

钉钉扫码or搜索群号“79045023716”即可入群

image.png

相关文章
|
8天前
|
调度 云计算 芯片
云超算技术跃进,阿里云牵头制定我国首个云超算国家标准
近日,由阿里云联合中国电子技术标准化研究院主导制定的首个云超算国家标准已完成报批,不久后将正式批准发布。标准规定了云超算服务涉及的云计算基础资源、资源管理、运行和调度等方面的技术要求,为云超算服务产品的设计、实现、应用和选型提供指导,为云超算在HPC应用和用户的大范围采用奠定了基础。
179591 21
|
15天前
|
存储 运维 安全
云上金融量化策略回测方案与最佳实践
2024年11月29日,阿里云在上海举办金融量化策略回测Workshop,汇聚多位行业专家,围绕量化投资的最佳实践、数据隐私安全、量化策略回测方案等议题进行深入探讨。活动特别设计了动手实践环节,帮助参会者亲身体验阿里云产品功能,涵盖EHPC量化回测和Argo Workflows量化回测两大主题,旨在提升量化投研效率与安全性。
云上金融量化策略回测方案与最佳实践
|
17天前
|
人工智能 自然语言处理 前端开发
从0开始打造一款APP:前端+搭建本机服务,定制暖冬卫衣先到先得
通义灵码携手科技博主@玺哥超carry 打造全网第一个完整的、面向普通人的自然语言编程教程。完全使用 AI,再配合简单易懂的方法,只要你会打字,就能真正做出一个完整的应用。
9439 24
|
21天前
|
Cloud Native Apache 流计算
资料合集|Flink Forward Asia 2024 上海站
Apache Flink 年度技术盛会聚焦“回顾过去,展望未来”,涵盖流式湖仓、流批一体、Data+AI 等八大核心议题,近百家厂商参与,深入探讨前沿技术发展。小松鼠为大家整理了 FFA 2024 演讲 PPT ,可在线阅读和下载。
5105 15
资料合集|Flink Forward Asia 2024 上海站
|
21天前
|
自然语言处理 数据可视化 API
Qwen系列模型+GraphRAG/LightRAG/Kotaemon从0开始构建中医方剂大模型知识图谱问答
本文详细记录了作者在短时间内尝试构建中医药知识图谱的过程,涵盖了GraphRAG、LightRAG和Kotaemon三种图RAG架构的对比与应用。通过实际操作,作者不仅展示了如何利用这些工具构建知识图谱,还指出了每种工具的优势和局限性。尽管初步构建的知识图谱在数据处理、实体识别和关系抽取等方面存在不足,但为后续的优化和改进提供了宝贵的经验和方向。此外,文章强调了知识图谱构建不仅仅是技术问题,还需要深入整合领域知识和满足用户需求,体现了跨学科合作的重要性。
|
5天前
|
JSON 分布式计算 数据处理
加速数据处理与AI开发的利器:阿里云MaxFrame实验评测
随着数据量的爆炸式增长,传统数据分析方法逐渐显现出局限性。Python作为数据科学领域的主流语言,因其简洁易用和丰富的库支持备受青睐。阿里云推出的MaxFrame是一个专为Python开发者设计的分布式计算框架,旨在充分利用MaxCompute的强大能力,提供高效、灵活且易于使用的工具,应对大规模数据处理需求。MaxFrame不仅继承了Pandas等流行数据处理库的友好接口,还通过集成先进的分布式计算技术,显著提升了数据处理的速度和效率。
|
29天前
|
人工智能 自动驾驶 大数据
预告 | 阿里云邀您参加2024中国生成式AI大会上海站,马上报名
大会以“智能跃进 创造无限”为主题,设置主会场峰会、分会场研讨会及展览区,聚焦大模型、AI Infra等热点议题。阿里云智算集群产品解决方案负责人丛培岩将出席并发表《高性能智算集群设计思考与实践》主题演讲。观众报名现已开放。
|
16天前
|
消息中间件 人工智能 运维
12月更文特别场——寻找用云高手,分享云&AI实践
我们寻找你,用云高手,欢迎分享你的真知灼见!
1247 74

热门文章

最新文章