长文详解|DataWorks Data+AI一体化开发实战图谱

本文涉及的产品
大数据开发治理平台DataWorks,资源组抵扣包 750CU*H
简介: DataWorks是一站式智能大数据开发治理平台,内置阿里巴巴15年大数据建设方法论,深度适配阿里云MaxCompute、EMR、Hologres、Flink、PAI 等数十种大数据和AI计算服务,为数仓、数据湖、OpenLake湖仓一体数据架构提供智能化ETL开发、数据分析与主动式数据资产治理服务,助力“Data+AI”全生命周期的数据管理。

引言:当数据智能遇见开发革命

在数字经济时代,企业正面临数据规模指数级增长与AI应用场景爆发式增长的双重挑战,企业数据工程师也面临着双重挑战:既要应对PB级数据处理需求,又要驾驭AI工程化落地的复杂性。

阿里云DataWorks作为国内领先的一站式智能数据开发治理平台,内置阿里巴巴十余年大数据建设方法论,为数据仓库、数据湖、OpenLake湖仓一体数据架构提供Data+AI数据架构开发、数据分析与主动式数据资产治理服务。通过数据开发Data Studio 个人开发环境实例支持Python开发、Notebook分析与Git集成,同时支持丰富多样的插件生态,实现了实时离线一体化、湖仓一体化、大数据AI一体化,助力“Data+AI”全生命周期的数据管理。

自2009年起,DataWorks不断对阿里巴巴数据体系进行产品化沉淀,服务于政务、金融、零售、互联网、汽车、制造等行业,使数以万计的客户信赖并选择DataWorks进行数字化升级和价值创造。


DataWorks 数据开发核心能力全景图

一、AI原生开发环境

1. 智能算力调度

  • 支持CPU/GPU混合资源池化调度:DataWorks  Serverless资源组支持配置CPU类型和GPU类型的资源。以免运维、按需付费、弹性伸缩的Serverless架构,将大数据处理与AI开发能力无缝融合。开发者在创建个人开发环境时,可以按需选择个人开发环境实例的资源规格,以支持进行高性能的计算工作。

image.png


2. 全栈开发支持

  • 深度集成阿里云DSW,提供AI原生的Python开发环境:在个人开发环境下,Data Studio支持Python语言的智能生成、一键纠错、注释生成及代码解释等能力,开发效率翻倍,同时支持Python的可视化断点调试、代码即时运行以及发布到调度系统,实现了Python的全流程开发闭环。

compress_截屏2025-04-08 17.36.18.png


3. Notebook交互式编程

  • 提供交互式、灵活且可复用的数据处理和分析环境 Notebook:增强了数据开发与分析过程中的直观性、模块化和交互性,帮助您更轻松地进行数据处理、探索、可视化和模型构建。

image.png


4. 跨域智能编排

  • 深度集成阿里云人工智能平台 PAI:数据开发 Data Studio支持PAI Flow节点,突破性实现可视化通过拖拽式编排大数据算子服务来构建PAI Flow节点,创新打造可无缝衔接MaxCompute、Hologres、PAI Flow节点等的WorkFlow,通过统一编排,打通数据处理与模型训练双闭环,自动生成全域数据血缘图谱,完整覆盖从特征工程到模型部署的智能链路。

image.png


二、智能开发矩阵

DataWorks Copilot,作为一站式智能数据开发治理平台 DataWorks 的智能助手,借助AI推理和自然语言处理能力,在代码开发场景下,帮助开发者根据自然语言快速完成多种代码相关操作,包括 SQL/Python 代码的生成、续写、改写、优化、解释及代码纠错/测试用例生成等功能为数据开发的智能引擎,能够根据上下文快速理解业务需求,在企业专属领域知识库的加持下,DataWorks Copilot让开发者能够轻松、高效、便捷地完成数据ETL及数据分析工作,节省时间和精力,据调研统计,DataWorks Copilot 可平均为数据开发和分析工作效率提升35%。

image.png


代码补全

  • DataWorks Copilot代码补全能力,可对您正在编写的SQL进行智能代码补全。

compress_截屏2025-04-08 17.17.43 (1).png


代码生成

  • 您可通过自然语言表达您的业务需求,DataWorks Copilot会将自然语言指令自动转换成SQL/Python语句。

compress_截屏2025-04-08 17.21.05.png


代码改写

  • 您可通过自然语言对已有代码进行修改,只需要用自然语言说出您的要求,DataWorks Copilot就会对指定的代码进行改写;

compress_截屏2025-04-08 17.22.09.png


代码纠错

  • 在DataWorks中,在代码执行前,您可以主动对已有代码进行错误检查;在代码运行出错后,也可以通过一键纠错,发起对代码错误的纠正。DataWorks Copilot会告诉您当前代码运行出错的原因以及修正后的代码。

compress_截屏2025-04-08 17.50.47.png


代码解释

  • DataWorks Copilot可对您指定的代码内容进行解释,提升代码的可读性,方便您快速学习和理解代码。

截屏2025-04-08 17.51.45.png


生成注释

  • 您可以对指定的代码生成注释,提升代码的完整性及可读性。

截屏2025-04-08 17.52.31.png


代码问答

  • 您可以用自然语言提出对SQL语法或者MaxCompute函数的相关问题,DataWorks Copilot会给出解释和用法示例,帮助您加深对SQL语法及函数的理解。

截屏2025-04-08 17.53.01.png


DataWorks Copilot在官方默认的模型基础上,深度对接 DeepSeek-R1 系列模型,支持用户在Copilot Chat对话时,自由选择所需模型。

以下示例为在DeepSeek-R1 系列模型的加持下,DataWorks Copilot 新增实现的SQL优化与SQL测试功能。

代码优化

  • 在DataWorks Copilot Chat窗口中,您可以对指定的代码发起SQL优化,如引入JOIN结合多表等方式简化代码逻辑,提升代码运行效率,一定程度降低数据库的负载。

截屏2025-04-08 17.54.15.png


代码测试

  • 在DataWorks Copilot Chat窗口中,您可以对指定的代码生成测试用例。DataWorks Copilot会为您生成完整的代码测试报告,包含单元测试、代码性能、边界条件验证等多角度,并生成测试代码,您可据此逐步验证任务代码的每个部分是否按预期工作。

截屏2025-04-08 17.55.05.png


三、Agent智能应用

DataWorks Copilot 同时提供覆盖数据集成、数据开发、数据分析和数据治理等全链路的AI Agent服务,为开发者和企业用户提供智能化产品体验,以高效完成 DataWorks 产品操作。

1. AI可视化建表

  • 在Data Studio-数据目录中,借助DataWorks Copilot建表助手,您只需输入表名关键字即可完成表的创建。也可一键触发,智能推荐字段名称和字段描述的补全。

截屏2025-04-08 18.10.01.png


2. 数据开发Agent

  • 在Data Studio-数据开发中,借助DataWorks Copilot发布助手,您可一键生成上线发布描述,提高发布效率。

image.png


3. 查询结果可视化图表及见解生成

  • DataWorks-数据开发/数据分析中,借助DataWorks Copilot智能图表助手,您可一键生成基于查询结果的可视化图表及数据见解。

截屏2025-04-08 18.13.02.png


4. 智能数据洞察

  • DataWorks数据洞察能够基于AI模型计算,智能分析海量数据的特征、分布、异常、关联及趋势,高效生成数据见解和可视化图表。您可以使用数据洞察了解数据分布,创建数据卡片,并组合成数据报告。


5. 智能诊断专家

  • DataWorks运维中心的智能诊断正式对接Qwen、DeepSeek-R1(671B)模型。当任务运行异常时,您只需点击运行诊断,大模型即可秒级提取日志中的关键信息、提供错误分析、解决建议,并推荐错误修复的快捷操作,让AI成为您的运维助手。

image.png


6. 数据质量规则

  • DataWorks的数据质量规则模板可以帮助用户建设数据质量,在离线表上定义相关的规则。为优化手动配置规则的工作量,DataWorks的智能助手 DataWorks Copilot 推出了数据质量规则推荐功能,您可以使用这一功能,自动生成合适的数据质量规则,减少手动配置规则的时间和复杂性,提升数据质量工作效率,一键优化对核心表的数据质量保障。
  • 智能推荐数据质量规则:用户可以通过一键唤起Copilot的能力,基于DataWorks中完整的元数据信息,快速生成适用于特定数据表或业务场景的数据质量规则
  • 支持多种数据源类型:该功能支持常见的大数据引擎(如MaxCompute、E-MapReduce、Hologres等),并能够根据不同的数据源特性生成适配的规则
  • 多维度质量校验:推荐的规则覆盖数据质量的多个维度,包括完整性、准确性、有效性、一致性、唯一性和及时性,确保全面监控数据问题

compress_截屏2025-04-08 18.22.24.png


7. 数据服务API

  • DataWorks数据服务能够借助Copilot智能助手进行快捷API封装,极速定义请求参数和返回参数。

截屏2025-04-08 18.23.49.png


即刻行动

登录DataWorks体验智能开发,开启您的智能数据工程之旅 → 体验入口

更多案例,请进入DataWorks Gallery进行体验。


相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 产品官网 https://www.aliyun.com/product/bigdata/ide 大数据&AI体验馆 https://workbench.data.aliyun.com/experience.htm#/ 帮助文档https://help.aliyun.com/zh/dataworks 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
目录
打赏
0
5
5
0
131
分享
相关文章
重磅发布:VTJ.PRO 赋能若依(RuoYi)「AI + 低代码」能力,企业级开发效率跃升 300%
VTJ.PRO 与若依(RuoYi)深度集成,融合双向代码穿梭、AI智能引擎及多模态渲染技术,打造“设计即生产”新体验。支持可视化开发、AI生成代码、旧组件重构,提升企业开发效率,助力数字化转型。
139 29
DataWorks 千万级任务调度与全链路集成开发治理赋能智能驾驶技术突破
智能驾驶数据预处理面临数据孤岛、任务爆炸与开发运维一体化三大挑战。DataWorks提供一站式的解决方案,支持千万级任务调度、多源数据集成及全链路数据开发,助力智能驾驶模型数据处理与模型训练高效落地。
程序员必收藏!Github 167000+ star 的自主AI agent,全自动AI助手,全面覆盖开发效率场景
AutoGPT 是基于 GPT-4 的开源自主 AI 智能代理,全面覆盖开发效率场景。支持任务自动拆解、多轮反馈、插件扩展与记忆管理,具备持续执行能力,适合自动化测试、CI/CD、Web 数据抓取等任务。GitHub 超 176K Star,是当前最热门的 AI Agent 开源项目之一,提供 CLI 与 GUI 双界面,助力开发者提升工作效率。
138 1
VTJ.PRO:打破次元壁!AI驱动 + 双向代码自由穿梭,重新定义Vue高效开发!
VTJ.PRO推出“双向代码转换引擎”,实现可视化设计与手写代码无缝切换,真正践行“设计即代码,代码即设计”。支持Vue3组件一键生成、源码反向解析,兼顾开发自由度与效率,助力快速原型验证与项目迭代。
46 0
高校实验实训课程开发:基于现有的硬件基础和开源能力研发最前沿的AI实验课程
更多基于学校现有硬件基础:企业需求场景的开发和发展,更加注重上层数据和应用,各类工具软件的出现,极大提升了各类硬件的应用价值。我们看到各类硬件厂商,想方设法把硬件卖给学校,但是很多硬件不是在那里尘封,就是寥寥无几的使用场景,我们希望基于学校现有的硬件基础去开发更多面向不同行业或专业的实验实训课程,物尽其用。基于学校现有的硬件,集约开发,极大降低硬件投入成本。
52 7
AI 智能客服搭建实战:如何建立一个企业级智能客服系统?
2025 年全球 AI 客服市场规模超 800 亿美元,企业面临意图识别误差、多语言支持等挑战。合力亿捷通过混合云架构、双引擎驱动等四层技术架构,结合小样本微调 + 主动学习等策略,实现服务效率提升 50% 以上、人工成本降低 40%,助力企业突破 “人工智障” 困境。
229 3
AI大模型运维开发探索第五篇:GitOps 智能体
本文探讨了如何结合 Manus 的智能体设计理念与 GitOps 持续集成技术,构建低成本、高扩展性的智能体系统。通过借鉴 Manus 的沙箱机制与操作系统交互思路,利用 Git 作为智能体的记忆存储与任务调度核心,实现了推理过程可视化、自进化能力强的智能体架构。文章还分享了具体落地实践与优化经验,展示了其与 Manus 相当的功能表现,并提供了开源代码供进一步探索。
191 20
阿里云瑶池数据库 Data Agent for Meta 正式发布,让 AI 更懂你的业务!
阿里云瑶池数据库推出 Data Agent for Meta,通过智能体技术实现数据管理自主化与智能化,解决 AI Agent 在企业落地中的“看不懂、找不到、不敢动”数据难题。它以业务语义理解为核心,提供资产盘点、语义搜索等功能,助力企业释放AI生产力,推动数据治理向智能决策升级。

热门文章

最新文章

相关产品

  • 大数据开发治理平台 DataWorks
  • AI助理

    你好,我是AI助理

    可以解答问题、推荐解决方案等

    登录插画

    登录以查看您的控制台资源

    管理云资源
    状态一览
    快捷访问