DataWorks:新一代 Data+AI 数据开发与数据治理平台演进

本文涉及的产品
大数据开发治理平台DataWorks,Serverless资源组抵扣包300CU*H
简介: 本文介绍了阿里云 DataWorks 在 DA 数智大会 2024 上的最新进展,包括新一代智能数据开发平台 DataWorks Data Studio、全新升级的 DataWorks Copilot 智能助手、数据资产治理、全面云原生转型以及更开放的开发者体验。这些更新旨在提升数据开发和治理的效率,助力企业实现数据价值最大化和智能化转型。

本文根据 DA 数智大会(Data+AI Conference)2024演讲实录整理而成,演讲信息如下:

演讲人:田奇铣 | 阿里云智能集团高级产品专家、阿里云 DataWorks 产品负责人

演讲内容:

- 新一代智能数据开发平台 DataWorks Data Studio,Data+AI 协同开发平台

- 全新升级 DataWorks Copilot 智能助手,数据开发分析平均提效35%

- DataWorks 全新升级数据资产治理,AI 时代的数据资产治理

- DataWorks 全面云原生转型,资源组全面 Serverless 化

- 更开放的 DataWorks,更好的开发者体验


image.png


DataWorks 积累和沉淀了阿里巴巴15年大数据建设方法论和最佳实践,深度适配阿里云 MaxCompute、Hologres、EMR、Flink、PAI 等数十种大数据和 AI 计算服务。阿里云智能集团高级产品专家、DataWorks 产品负责人田奇铣在DA数智大会(Data+AI Conference)中表示,今年,DataWorks全新升级和推出新一代Data+ AI智能湖仓一体数据开发与治理平台,为 OpenLake 湖仓一体数据架构提供智能化数据集成、数据开发、数据分析与主动式数据资产治理服务,助力“Data+AI”全生命周期的数据管理,致力于为用户构建一个开放的云原生数据开发治理平台。

新一代智能数据开发平台 DataWorks Data Studio,Data+AI 协同开发平台

为更好的适应湖仓一体、Data+AI 的发展趋势与需求,DataWorks 正式推出全新一代数据开发 IDE,即DataWorks Data Studio,在原有基础上进行全面的架构和云原生化升级,致力于打造一个更加开放的、更符合开发者习惯的云原生 WebIDE。新一代 Data Studio 适配更多计算引擎,新增支持流式计算引擎 Flink、StarRocks 等主流 OLAP 计算引擎;全新升级工作流,将工作流定义为可编排可管理、可独立调度的实体对象;覆盖多种数据仓库、Lakehouse 湖仓的统一元数据管理,同时覆盖了包含 AI 数据集、AI 模型在内的数据实体对象。可支持基于 OpenLake 湖仓一体架构的多种计算引擎协同数据开发。


新一代 Data Studio 更大的升级是在开发模式上,在传统的 WebIDE 之上,DataWorks 全新推出个人开发环境。个人开发环境是一种云原生的 WebIDE,构建在 Serverless 资源组之上,可为开发者提供自定义容器实例和自定义镜像能力,可以执行 Python、Shell 等脚本,并支持代码调试。在个人开发环境中,支持连接云存储 NAS 和 GIT,用户可以自由选择将任务代码存储在 NAS 中或者使用 GIT 进行代码版本管理。从 WebIDE 到云原生版 WebIDE,DataWorks 可以让你在任意地点像使用本地 IDE 一样使用云上的 IDE,最大程度为开发者保留更 Native 的开发体验。


个人开发环境的出现使得 DataWorks Notebook 应运而生,DataWorks Notebook 基于 PAI-DSW 构建,重点解决了 Jupyter Notebook 对于大数据开发分析支持的不完善的问题和增强了 Data+AI 协同开发的能力。DataWorks Notebook 支持多种计算引擎 SQL 查询,增强数据可视化,支持 Python 与 SQL 交互式数据分析,内置 Copilot 智能助手。DataWorks Notebook 同时将大数据计算引擎的分布式数据处理、Python 单机和分布式数据处理、AI 模型训练协同起来,提供 Data+AI 一站式协同开发。


全新升级 DataWorks Copilot 智能助手,数据开发分析平均提效35%

DataWorks Copilot 全面支持包含 MaxCompute SQL、Hologres SQL、Spark SQL、Hive SQL、StarRocks SQL 等在内的各类计算引擎的 SQL 方言的生成和 SQL 代码补全,同时支持 Python 等非 SQL 语言的代码生成;在 AI Agent 方向持续丰富,尤其是数据开发流程上提供各类 Agent,通过大模型的语义理解与内容生成能力,在找表、建表、图表生成、代码变更描述和函数描述生成等方面提供 Agent,提升了操作效率和体验。据调研统计,DataWorks Copilot 可平均为数据开发和分析工作效率提升35%,更重要的是, Copilot 为开发者在开发过程中带来愉悦感。


DataWorks 全新升级数据资产治理,AI 时代的数据资产治理

业务价值是数据资产治理的核心驱动力,为加速企业数据治理工作的落地,我们将 DataWorks 数据治理中心全新升级为 DataWorks 数据资产治理,提供了从技术视角+业务视角的资产治理体系和 Data+AI 全方位数据资产治理体系。DataWorks 数据资产治理新增通过业务标签将数据资产按数据产品或者业务进行分类,然后基于业务标签自动进行业务数据资产的健康评估,自动识别问题业务资产,推荐场景化数据治理计划,增强数据质量管理及数据安全管控。DataWorks 数据资产治理增加了对 AI 资产的覆盖,全新推出 Data+AI 全链路数据血缘,从数据集、数据处理、PAI 模型训练到 PAI 推理服务,端到端全链路追溯和可视化展现数据血缘,帮助 AI 开发者记录和识别数据与模型之间的关系,加速 AI 模型的迭代效率。


DataWorks 全面云原生转型,资源组全面 Serverless 化

为提升整体的服务效率和平台的开放度,DataWorks 进行了Kubernetes 改造,优化了任务调度策略,增强了网络层的灵活性以适配多样化需求。此外,引入了云原生调度系统,并对资源节点进行优化,以便更好地对接云产品,同时简化了用户对网络管理的复杂度,提升了数据处理的便捷性和灵活性。在此基础上 DataWorks 实现了资源组全面 Serverless 化,从原有多类型资源组统一为通用型资源组,Serverless 化不仅带来使用门槛的降低,更显著提升了资源的利用效率,付费方式的灵活和资源效率的提升,在保障更高安全性的情况下,大幅度降低了使用成本,特定使用场景下成本最高可节省40%。未来 DataWorks 将持续释放云原生技术红利,帮助企业有效降低数据生产的成本。


更开放的 DataWorks,更好的开发者体验

DataWorks 致力于为开发者提供更开放的、更灵活、更 Native 的开发体验。

DataWorks 将调度系统中DAG背后完整的定义描述FlowSpec完全开源(https://github.com/aliyun/alibabacloud-DataWorks-tool-dflow),并提供了便捷的配套工具,用户可以基于DataWorks FlowSpec快速将其他调度系统的工作流导入到DataWorks,也可以便捷的将DataWorks中的工作流导出,从而不用担心被Lock-in的问题。

同时,DataWorks 在提供高效方便的可视化开发界面的同时,也为用户提供了覆盖 DataWorks 完整产品能力的全套 OpenAPI,使得用户可以结合自身业务特点,将DataWorks的能力集成到其自有平台,甚至是构建一套高度定制化的数据管理平台。


DataWorks致力于打造更加开放、更加智能的,面向湖仓一体架构和Data+AI场景的一站式数据开发治理平台,助力企业快速实现数据价值的最大化和智能化转型。

产品体验优惠

为了回馈广大用户的支持,DataWorks将在11月推出版本使用优惠活动*,在基础版免费使用的基础上,届时新购/升级到标准版或专业版的用户,将免费体验企业版独有的数据资产治理功能3个月;购买/升级到企业版的用户,可享受首月299元的优惠。

*具体活动细则与说明,敬请关注阿里云官网DataWorks产品详情页

目录
相关文章
|
17天前
|
存储 弹性计算 人工智能
阿里云Alex Chen:普惠计算服务,助力企业创新
本文整理自阿里云弹性计算产品线、存储产品线产品负责人陈起鲲(Alex Chen)在2024云栖大会「弹性计算专场-普惠计算服务,助力企业创新」中的分享。在演讲中,他分享了阿里云弹性计算,如何帮助千行百业的客户在多样化的业务环境和不同的计算能力需求下,实现了成本降低和效率提升的实际案例。同时,基于全面升级的CIPU2.0技术,弹性计算全线产品的性能、稳定性等关键指标得到了全面升级。此外,他还宣布了弹性计算包括:通用计算、加速计算和容器计算的全新产品家族,旨在加速AI与云计算的融合,推动客户的业务创新。
|
24天前
|
存储 人工智能 弹性计算
产品技术能力飞跃,阿里云E-HPC荣获“CCF 产品创新奖”!
9月24日,在中国计算机学会举办的“2024 CCF 全国高性能计算学术年会”中,阿里云弹性高性能计算(E-HPC)荣获「 CCF HPC China 2024 产品创新奖」。这也是继 2022 年之后,阿里云E-HPC 再次荣获此奖项,代表着阿里云在云超算领域的持续创新结果,其产品能力和技术成果得到了业界的一致认可。
|
8天前
|
SQL 人工智能 安全
【灵码助力安全1】——利用通义灵码辅助快速代码审计的最佳实践
本文介绍了作者在数据安全比赛中遇到的一个开源框架的代码审计过程。作者使用了多种工具,特别是“通义灵码”,帮助发现了多个高危漏洞,包括路径遍历、文件上传、目录删除、SQL注入和XSS漏洞。文章详细描述了如何利用这些工具进行漏洞定位和验证,并分享了使用“通义灵码”的心得和体验。最后,作者总结了AI在代码审计中的优势和不足,并展望了未来的发展方向。
|
3天前
|
负载均衡 算法 网络安全
阿里云WoSign SSL证书申请指南_沃通SSL技术文档
阿里云平台WoSign品牌SSL证书是由阿里云合作伙伴沃通CA提供,上线阿里云平台以来,成为阿里云平台热销的国产品牌证书产品,用户在阿里云平台https://www.aliyun.com/product/cas 可直接下单购买WoSign SSL证书,快捷部署到阿里云产品中。
1843 6
阿里云WoSign SSL证书申请指南_沃通SSL技术文档
|
2天前
|
存储 安全 Oracle
【灵码助力安全3】——利用通义灵码辅助智能合约漏洞检测的尝试
本文探讨了智能合约的安全性问题,特别是重入攻击、预言机操纵、整数溢出和时间戳依赖性等常见漏洞。文章通过实例详细分析了重入攻击的原理和防范措施,展示了如何利用通义灵码辅助检测和修复这些漏洞。此外,文章还介绍了最新的研究成果,如GPTScan工具,该工具通过结合大模型和静态分析技术,提高了智能合约漏洞检测的准确性和效率。最后,文章总结了灵码在智能合约安全领域的应用前景,指出尽管存在一些局限性,但其在检测和预防逻辑漏洞方面仍展现出巨大潜力。
|
6天前
|
Web App开发 算法 安全
什么是阿里云WoSign SSL证书?_沃通SSL技术文档
WoSign品牌SSL证书由阿里云平台SSL证书合作伙伴沃通CA提供,上线阿里云平台以来,成为阿里云平台热销的国产品牌证书产品。
1778 2
|
15天前
|
编解码 Java 程序员
写代码还有专业的编程显示器?
写代码已经十个年头了, 一直都是习惯直接用一台Mac电脑写代码 偶尔接一个显示器, 但是可能因为公司配的显示器不怎么样, 还要接转接头 搞得桌面杂乱无章,分辨率也低,感觉屏幕还是Mac自带的看着舒服
|
22天前
|
存储 人工智能 缓存
AI助理直击要害,从繁复中提炼精华——使用CDN加速访问OSS存储的图片
本案例介绍如何利用AI助理快速实现OSS存储的图片接入CDN,以加速图片访问。通过AI助理提炼关键操作步骤,避免在复杂文档中寻找解决方案。主要步骤包括开通CDN、添加加速域名、配置CNAME等。实测显示,接入CDN后图片加载时间显著缩短,验证了加速效果。此方法大幅提高了操作效率,降低了学习成本。
5111 15
|
9天前
|
人工智能 关系型数据库 Serverless
1024,致开发者们——希望和你一起用技术人独有的方式,庆祝你的主场
阿里云开发者社区推出“1024·云上见”程序员节专题活动,包括云上实操、开发者测评和征文三个分会场,提供14个实操活动、3个解决方案、3 个产品方案的测评及征文比赛,旨在帮助开发者提升技能、分享经验,共筑技术梦想。
1038 147
|
17天前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1583 12

热门文章

最新文章