阿里云DMS,身边的智能化数据分析助手

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
数据传输服务 DTS,数据同步 1个月
简介: 生成式AI颠覆了人机交互的传统范式,赋予每个人利用AI进行低门槛数据分析的能力。Data Fabric与生成式AI的强强联合,不仅能够实现敏捷数据交付,还有效降低了数据分析门槛,让人人都能数据分析成为可能!阿里云DMS作为阿里云统一的用数平台,在2021年初就开始探索使用Data Fabric理念构建逻辑数仓来加速企业数据价值的交付,2023年推出基于大模型构建的Data Copilot,降低用数门槛,近期我们将Notebook(分析窗口)、逻辑数仓(Data Fabric)、Data Copilot(生成式AI)进行有机组合,端到端的解决用数难题,给用户带来全新的分析体验。

导言

随着Gartner发布2023年中国数据、分析和AI技术成熟度曲线(站在数据业务发展和技术相关性角度,Gartner作为业界权威将数据、分析、AI放在一个曲线上说明趋势),数据中台正式从曲线中被废弃,成为历史。从2015年提出受到热捧,到变得备受质疑直至被市场抛弃,究其原因,主要是数据中台投入大,成本高,虽然保障了数据供给的一致性和质量,但需求响应以周、月为单位,让业务侧难以忍受。而与之对应的,近几年Data Fabric作为一种新兴的数据管理设计理念正获得各厂商的青睐。


Data Fabric重点强调敏捷数据交付,其通过优化跨源异构数据的发现与访问,将可信数据从所有数据源中以灵活且业务可理解的方式交付给所有相关数据消费者,让数据消费者自助服务和高效协作,实现极致敏捷的数据交付,同时通过主动、智能、持续的数据治理让数据架构持续健康,从而提供比传统数据管理更多的价值。Gartner认为Data Fabric能够帮助企业减少50%数据管理人力成本和70%的工作量并加快价值实现速度


Data Fabric虽然能够实现敏捷的数据交付,但有效降低数据分析的门槛,实现数据价值的最后一公里传递,依然是当前面临的一大挑战。这一问题的核心在于如何让非专业人士,包括业务决策者、一线员工乃至广大公众,都能够便捷地使用数据,从而真正释放数据潜在的价值。


值得庆幸的是,生成式AI技术的出现为解决这一难题带来了曙光。生成式AI颠覆了人机交互的传统范式,赋予每个人利用AI进行低门槛数据分析的能力(比如通过自然语言来查询与分析数据),以此破解实现数据价值的最后一公里障碍。我们在Gartner发布的曲线中也可以观察到,生成式AI在极短的时间内即跃升至热门关注区间的顶峰,这充分反映了市场对于借助生成式AI降低数据分析门槛的高度期许与热烈追求。


综上,Data Fabric与生成式AI的强强联合,不仅能够实现敏捷数据交付,还有效降低了数据分析门槛,让人人都能数据分析成为可能!


阿里云DMS作为阿里云统一的用数平台,在2021年初就开始探索使用Data Fabric理念构建逻辑数仓来加速企业数据价值的交付,2023年推出基于大模型构建的Data Copilot,降低用数门槛,近期我们将Notebook、逻辑数仓(统一查询)、Data Copilot(生成式AI)进行有机组合,端到端的解决用数难题,给用户带来全新的分析体验。


面向用户群体

使用前

DMS方案

用户收益

数据开发/分析人员

需要花费大量的时间来应对业务方频繁的取数需求

  • 通过Notebook支持SQL、Python融合串联分析,实现一体化分析体验。
  • 提供Data Copilot,支持NL2SQL,SQL补全,SQL纠错,SQL注释等能力,协助开发人员便捷完成SQL开发,提高开发效率
  • 提供Agent配置调试平台,供开发人员一键构建“查数机器人”。定制化大模型开箱即用,为业务提供24小时不间断服务,响应80%以上的重复性查数需求

专注高价值交付,数据交付效率提升100%

缺乏有效的业务元数据信息,需要人工主动维护

基于大模型推理+业务使用反馈自动获取业务元数据

业务元数据自主维护,人工为辅,元数据管理效率提升50%

用数人员(产品/运营/管理者)

找数难,等待周期长,无法自服务自闭环

Web/钉钉等多渠道,使用开发人员构建的查数Agent以自然语言交互式获取数据,0代码,提出问题即可得到

低门槛自助用数,专注业务决策

无需排队,无需等候,全天候服务


1、DMS简介

在进入分析场景介绍前,先为不熟悉DMS的同学进行一个简单科普,DMS是阿里云在2013年发布的数据管理服务,作为阿里云统一的用数入口,其提供了包括多云多源管控、数据安全、数据库开发管理、数据分析等功能,是多年来阿里集团用数最佳实践,能够满足企业一站式数据管理诉求。上线至今服务了超过10万+企业客户,产品周活6万+!

2、DMS数据分析与应用

如上图所示,DMS通过Data Fabric(主动元数据、知识图谱、数据虚拟化、动态集成、访问控制、AI/推荐)+大模型构建智能数据管理底座,通过数据管理底座底座赋能数据分析与应用场景。Data Fabric的整体能力我们留待下次分享,本次主要针对DMS数据分析与应用结合场景拆分的四个核心功能进行介绍:安全托管、Copilot、Notebook、AI Agent

安全托管。

在数据分析与应用场景中,用数管控是基本要求,安全托管是数据管理DMS在阿里集团数据库权限访问控制最佳实践,为企业提供一系列数据库权限管控的集合,可帮助企业实现多云数据库统一权限管理,进而确保用数过程的安全。


Copilot

             

DMS Data Copilot支持用户通过自然语言的方式生成SQL,相较于其他NL2SQL场景对大规模精准数据标注的高度依赖性,DMS巧妙借力于先进的大模型技术,能够对用户过往执行过的SQL语句以及历史对话记录进行深层次的知识推理与挖掘,进而构筑并自主维护一个专业且实时更新的领域知识库,这一过程几乎无需大量人工介入。


在实际应用中,DMS Data Copilot在互动交流的过程中能够展现出卓越的理解力和应变能力。它能理解用户的复杂意图,并依据用户的历史行为和当前需求,智能推荐合适的表,生成相应的SQL片段。同时,对于Copilot使用的每项信息,用户都能够进行灵活调整和优化,这无疑显著提升了系统的冷启动效能和结果准确度,使得用户与数据库之间的沟通更为流畅自如。


Notebook

DMS为分析师提供了标准的Notebook功能满足基础分析场景诉求,同时对Notebook能力进行增强,提升开发效率:

  • 支持通过Copilot以自然语言的方式生成SQL语句(Python生成规划中)
  • 新增SQL Cell(Cell是Notebook的最小组成单位,类似单独的一个开发窗口),且SQL Cell查询结果可直接被Python Cell以data frame的形式引用
  • SQL Cell通过Copilot支持SQL代码自动生成
  • SQL Cell能够进行查询和结果集可视化
  • SQL Cell具备Data Fabric数据虚拟化能力,能够实现多源数据访问而无需移动数据,有类似数据库的功能
  • 支持逻辑建模和编排调度(规划中)

AI Agent

AI Agent是一类数据应用的总称,开发人员可以自主构建对外的智能数据应用,目前DMS支持创建查数Agent应用,开发人员通过“创建Agent->选择Agent涉及表->测试/调试->发布”流程即可快速构建一个查数Agent,通过查数Agent可以让用数人员通过自然语言进行数据查询和分析,应对日常高频多变的查数诉求,且开发可根据日常用数的系统反馈不断调试迭代提升准确性和覆盖面,从而避免让开发、分析人员成为“取数机器”,进一步提升企业数据驱动效率。


3、快速入门

这里以一个数据集成类的SaaS产品经营分析为例,我们需要通过DMS数据工作站完成集成任务量的趋势分析以及构建一个查数Agent应对任务相关的日常查询分析诉求。

3.1、准备工作

1)从DMS控制台找到数据集成与开发入口->进入DMS数据工作站->新建项目空间。

2)在项目空间添加任务分析所需的相关库和表。

3.2、Notebook分析

1)创建Notebook文件

2)使用Notebook对任务趋势进行分析,过程中可以通过开启Copilot来生成分析所需的SQL快速应用到Notebook中。

在Copilot的帮助下我们能够快速提升代码开发效率,到这里趋势分析就完成了。

3.3、AI Agent构建

接下来我们构建一个查数Agent应对任务相关的日常查询分析诉求

1)创建AI Agent

2)新增任务分析相关表

3)添加测试集

4)回归与调试

5)通过自然语言来获取任务相关的查询和分析结果(比如询问“帮我分析下成功的任务中,各种业务类型的任务分布”)。

4、费用说明

公测期间(公测时长待定)暂不收费公测预计在 4 月中旬正式开启,公测期至少维持 3 个月

5、了解更多

数据管理DMS(Data Management)是一款支撑数据全生命周期的一站式数据管理平台。DMS提供全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能,致力于帮助企业高效、安全地挖掘数据价值,助力企业数字化转型。

产品介绍:https://www.aliyun.com/product/dms

目前产品处于邀测阶段可以加钉钉群申请开通试用,群号:44962304。

相关文章
|
4天前
|
存储 机器学习/深度学习 弹性计算
|
7天前
|
分布式计算 大数据 BI
MaxCompute产品使用合集之MaxCompute项目的数据是否可以被接入到阿里云的Quick BI中
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
1天前
|
Cloud Native 数据管理 关系型数据库
【阿里云云原生专栏】云原生数据管理:阿里云数据库服务的分布式实践
【5月更文挑战第21天】阿里云数据库服务在云原生时代展现优势,应对分布式数据管理挑战。PolarDB等服务保证高可用和弹性,通过多副本机制和分布式事务确保数据一致性和可靠性。示例代码展示了在阿里云数据库上进行分布式事务操作。此外,丰富的监控工具协助用户管理数据库性能,支持企业的数字化转型和业务增长。
149 1
|
2天前
|
存储 人工智能 数据管理
【云故事探索】基于阿里云助力地理产业2.0落地,实现遥感数据智能化管理
中国某遥感数据服务中心借助阿里云ECS、GPU和OSS服务,成功实现了地理信息产业升级。此前,中心面临数据管理混乱、服务响应慢等问题。通过阿里云的解决方案,构建了全生命周期管理的遥感数据平台,强化了自动化、智能化的数据生产能力,提升了数据服务的准确性和及时性。此外,平台还增强了数据共享,扩大了应用范围。未来,中心计划结合AI技术,探索地理信息3.0时代,利用阿里云的人工智能平台进一步提升数据管理和应用能力。
47 1
|
2天前
|
存储 弹性计算 数据库
阿里云oss备份网站数据的详细步骤
该教程指导如何使用阿里云OSS备份网站数据。首先,注册阿里云账号并购买40GB的OSS存储空间。创建Bucket,选择与服务器相同的区域和私有权限。安装阿里云OSS插件,获取AccessKey信息。在宝塔面板中设置计划任务进行网站或数据库备份,选择内网域名以节省流量。备份完成后,通过文件管理器检查OSS中是否有备份文件。下载备份文件需点击文件名,然后打开文件URL。
|
5天前
|
人工智能 云计算
阿里云携手合作伙伴得云AI举办《AI赋能 · 智能革新沙龙》
阿里云与得云AI联合举办了《AI赋能·智能革新沙龙》,探讨云计算和AI前沿技术。
|
7天前
|
SQL 数据管理 API
数据管理DMS产品使用合集之阿里云DMS提供API接口来进行数据导出功能吗
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
7天前
|
运维 数据管理 数据库
数据管理DMS产品使用合集之在阿里云DMS中,想对数据精度进行校验,有什么方法
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
7天前
|
NoSQL 数据管理 MongoDB
数据管理DMS产品使用合集之如何通过阿里云的数据管理服务(DMS)导出MongoDB数据
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
7天前
|
SQL 运维 数据管理
数据管理DMS产品使用合集之阿里云DMS可以针对数字进行替换吗
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。

热门文章

最新文章

相关产品

  • 数据管理