1背景
生成式AI的浪潮中,GPU算力不断提升,数据规模和实时性越来越强,新模型和应用不断涌现,麦肯锡调研显示目前全球已有超过50%的公司部署了AI能力。与此同时企业面临与传统DevOps场景不同的挑战,包括多模态多源数据管理的分散性、模型训练与开发的技术成本高效率低、AI应用开发与部署的复杂度等等。
面对生成式AI给企业带来的需求痛点,阿里云数据管理服务DMS面向Data+AI场景,提供了“数据开发-模型开发-应用开发”全链路一体化的解决方案。伴随技术的提升与功能的丰富,DMS的产品体验同步升级,为用户提供“数智一体化”的使用体验,围绕企业“Data+AI”核心旅程,聚焦体验的准确性、智能化与一体化,通过交互与视觉升级,将技术更好地产品化,呈现给用户。
2Data+AI核心用户旅程&数智一体化的产品体验
企业用户正经历从传统的“数据管理-应用开发”到现代的“数据开发DataOps-模型开发MLOps-应用开发LLMOps”的需求场景转型,为AI应用进行的数据开发和应用AI能力进行数据管理是和传统DevOps有所差异的,阿里云DMS的用户云上AI开发核心旅程如图:
DMS在现有数据库DevOps、数据传输与加工、数据安全、数据服务四大板块能力基础上,提出工作空间概念,统一MetaData元数据管理,强化Notebook等MLOps能力,集成Dify应用构建等LLMOps能力,打造一站式Data+AI管理平台,提供数智一体化的产品体验。
1. 环境准备:一体化的空间Set up
DMS采用Theia Web IDE架构进行产品升级,为Data+AI开发提供类似VS Code的统一、熟悉的开发环境。现在,我们提供了一体化的工作空间Set up体验,用户可快速创建并进入空间,根据引导完成必要配置步骤,让环境配置和准备工作更高效。
进入空间后,我们提供了引入数据源、添加空间成员、创建Notebook文件等Data+AI开发的必要准备工作引导,确保用户在进入空间后能够更清晰、顺畅地完成相关配置。
此外,我们还提供了全局统一(TP/湖/仓)的数据目录,提供数据的元数据、结构和访问权限,方便用户系统化地组织和管理数据资产。
2. 模型开发:现代化的Notebook
在现代数据分析和开发中,研究人员常需在多个工具间切换,导致效率低下。为此,Notebook平台应运而生,集成代码、数据和可视化能力,提升工作流连贯性。
在过去几个月中,我们对DMS Notebook进行了以下重大升级:
- 集成分布式计算引擎:支持SparkSQL 等多语言交互式开发,为用户提供高效的大数据处理与建模工具。
- 增强企业级能力:增强协作、权限管理和资源调度能力,提升企业级数据分析和开发的效率与安全性。
- 提升性能和稳定性:增强对超大数据集的处理能力。
在进行Notebook开发时,通过预设的配置模版以及更易用的交互式组件,用户可在当前开发场景轻松完成Notebook运行资源的配置。
在Jupyter Lab插件基础上,我们优化了SQL Cell查询结果的交互、视觉效果,遵循IDE用户操作习惯的同时让页面更简洁美观。
此外,DMS Notebook 2.0还增强了SQL查询结果操作能力,如高级筛选、复合排序、单元格高度拖拽调整等,使得用户能够更快速、灵活地进行数据探索和分析。
3. 应用编排:一体化的引擎资源开通和部署
DMS提供一键购买和部署的解决方案,支持客户轻松部署开源产品Dify。该方案包括配置关系型数据库、内存型数据库和向量数据库,确保不同类型数据的高效存储和处理。现在,用户可以选择基于已有引擎部署或组合新购资源,自动登录并托管数据源至DMS,通过更简化的配置流程,降低了Dify的部署门槛。
4. 知识库构建:一体化的数据准备
各个行业的用户在构建LLM应用之前,都要进行数据准备。保险行业某客户需要关系型数据库和企业文本知识库做关联,对结构化与非结构化数据进行统一管理。媒体行业某客户在以文搜文场景对RAG+向量搜索需求强。能源领域某客户需要解决多模数据到向量数据库的同步,为RAG服务编排做数据准备。
DMS整合DTS的数据同步能力和云原生数据仓库AnalyticDB的向量能力,在LLM应用开发流程的知识库构建场景,为用户提供数据准备功能,用户可以在DMS Dify的创建知识库流程中调用数据准备能力,完成非结构化数据、结构化数据、向量数据向向量数据库的链路搭建。用体验上无需跨多平台工具,一个流程解决数据准备和知识库管理两个需求场景。
数据准备串联在DMS Dify创建知识库流程中
数据准备配置包含 解析-Chunk-Embedding 三个核心配置
完成链路配置后会自动在 DMS Dify 创建新的知识库
3总结展望
AI是一道光,照亮新的机会,阿里云DMS顺光而行,与客户共赢。UX没有标准答案,设计师永远在追求卓越的路上前行,我们的目标是将技术通过优雅的方式传递给广大开发者用户。丰富的功能与流畅的体验会在近期陆续上线,欢迎大家反馈使用体验建议,DMS与用户共同成长。
备注:以上所有界面图片和动图均为设计示意图,最终效果以上线版本为准。