阿里云大数据ACP(一)大数据开发平台 DataWorks 1

简介: 阿里云大数据ACP(一)大数据开发平台 DataWorks 1

文章目录


一、DataWorks 简介

1.1 DataWorks 的功能概述

1.2 DataWorks 产品特点

1.3 DataWorks 产品优势

1.4 应用场景 (助力企业搭建大数据信息平台)


二、DataWorks 基本概念

2.1 组织与项目空间

2.2 任务(Task)

2.3 工作流、节点、依赖关系

2.4 任务(Task)类别

2.5 实例(Instance)

2.6 资源与函数


三、DataWorks 功能架构

3.1 功能模块

3.2 组织管理

3.3 项目管理

3.4 数据开发

3.5 数据管理

3.6 运维中心


四、DataWorks 角色隔离

4.1 DataWorks 中的角色


五、DataWorks 开发流程

5.1 新建项目空间

5.2 添加组织成员+项目成员

5.3 数据开发

5.4 数据开发流程

5.5 数据输入

5.6 数据加工

5.7 数据输出

5.8 代码发布

5.9 生产调度

5.10 生产运维


六、DataWorks 数据开发

6.1 数据开发总览

6.2 任务开发

6.3 任务类型

6.4 脚本开发

6.5 函数管理

6.6 发布管理

6.7 导入本地文件


七、DataWorks 调度配置

7.1 调度周期配置

7.2 调度参数配置

7.3 DataWorks 中的参数功能

7.4 调度依赖关系

7.5 跨周期依赖


八、数据管理

8.1 数据管理

8.2 全局概览

8.3 数据表的管理操作

8.4 数据权限


九、DataWorks 运维管理

9.1 运维管理

9.2 运维有关的权限

9.3 运维概览

9.4 手动任务 & 周期任务

9.5 监控报警


十、DataWorks 项目管理

10.1 项目管理综述

10.2 项目配置

10.3 项目成员管理

10.4 调度资源管理


一、DataWorks 简介


DataWorks(数据工场,原大数据开发套件)是阿里云重要的PaaS平台产品,提供数据集成、数据开发、数据地图、数据质量和数据服务等全方位的产品服务,一站式开发管理的界面,帮助企业专注于数据价值的挖掘和探索。


DataWorks支持多种计算和存储引擎服务,包括离线计算MaxCompute、开源大数据引擎E-MapReduce、实时计算(基于Flink)、机器学习PAI、图计算服务Graph Compute和交互式分析服务等,并且支持用户自定义接入计算和存储服务。DataWorks提供全链路智能大数据及AI开发和治理服务。


1.png


1.1 DataWorks 的功能概述


全面托管的调度


DataWorks提供强大的调度功能,详情请参见调度配置。

支持根据时间、依赖关系,进行任务触发的机制。详情请参见时间属性和依赖关系。

支持每日千万级别的任务,根据DAG关系准确、准时地运行。

支持分钟、小时、天、周和月多种调度周期配置。

完全托管的服务,无需关心调度的服务器资源问题。

提供隔离功能,确保不同租户之间的任务不会相互影响。

DataWorks支持离线同步、Shell、ODPS SQL、ODPS MR等多种节点类型,通过节点之间的相互依赖,对复杂的数据进行分析处理。


数据转化:依托MaxCompute强大的能力,保证了大数据的分析处理性能。

数据同步:依托DataWorks中数据集成的强力支撑,支持超过20种数据源,为您提供稳定高效的数据传输功能。


可视化开发


DataWorks提供可视化的代码开发、工作流设计器页面,无需搭配任何开发工具,简单拖拽和开发,即可完成复杂的数据分析任务。只要有浏览器有网络,您即可随时随地进行开发工作。


监控告警


运维中心提供可视化的任务监控管理工具,支持以DAG图的形式展示任务运行时的全局情况,详情请参见运维中心。


1.2 DataWorks 产品特点

20200512105742714.png


1.3 DataWorks 产品优势


20200512105808325.png


1.4 应用场景 (助力企业搭建大数据信息平台)

20200512135347990.png


二、DataWorks 基本概念


2.1 组织与项目空间


20200512105853746.png


2.2 任务(Task)

20200512105948484.png


2.3 工作流、节点、依赖关系

20200512110020661.png


2.4 任务(Task)类别

20200512110046622.png


2.5 实例(Instance)

20200512110120788.png


说明:在阿里云大数据开发平台中,节点任务在执行时会被实例化,并以MaxCompute 实例的形式存在。实例会经历未运行、等待时间/等待资源、运行中,成功/失败几个状态。


2.6 资源与函数

2020051211014594.png


说明:资源与函数都是 MaxCompute 的概念。


三、DataWorks 功能架构


20200512110232827.png


3.1 功能模块

image.png


3.2 组织管理

image.png


3.3 项目管理

image.png


3.4 数据开发

image.png


3.5 数据管理

image.png


3.6 运维中心

image.png


四、DataWorks 角色隔离


4.1 DataWorks 中的角色

image.png


image.png



五、DataWorks 开发流程


image.png


5.1 新建项目空间

image.png


5.2 添加组织成员+项目成员

image.png


5.3 数据开发

image.png


5.4 数据开发流程

image.png


5.5 数据输入

image.png


5.6 数据加工

image.png


5.7 数据输出

image.png


5.8 代码发布

image.png


5.9 生产调度

image.png


5.10 生产运维

image.png


相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
目录
相关文章
|
存储 分布式计算 大数据
【赵渝强老师】阿里云大数据存储计算服务:MaxCompute
阿里云MaxCompute是快速、全托管的TB/PB级数据仓库解决方案,提供海量数据存储与计算服务。支持多种计算模型,适用于大规模离线数据分析,具备高安全性、低成本、易用性强等特点,助力企业高效处理大数据。
744 0
|
人工智能 分布式计算 DataWorks
阿里云大数据AI产品月刊-2025年8月
阿里云大数据& AI 产品技术月刊【2025年 8 月】,涵盖 8 月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
916 2
|
存储 分布式计算 资源调度
【赵渝强老师】阿里云大数据MaxCompute的体系架构
阿里云MaxCompute是快速、全托管的EB级数据仓库解决方案,适用于离线计算场景。它由计算与存储层、逻辑层、接入层和客户端四部分组成,支持多种计算任务的统一调度与管理。
1140 1
|
DataWorks 监控 数据建模
DataWorks产品体验评测
DataWorks产品体验评测
|
数据采集 人工智能 DataWorks
DataWorks产品最佳实践测评
DataWorks产品最佳实践测评
|
SQL DataWorks 搜索推荐
DataWorks产品评测与最佳实践体验报告
DataWorks是阿里巴巴云推出的一款高效数据处理平台,通过内置的数据集成工具和ETL功能,实现了多源数据的自动化处理与分析。本文介绍了DataWorks在用户画像分析中的应用实践,展示了其如何帮助企业高效管理数据资源,支持决策制定及营销优化。同时,文章还评测了DataWorks的产品体验,包括开通流程、功能满足度等方面,并与其它数据开发平台进行了比较,突出了DataWorks在易用性、性能和生态完整性上的优势。最后,对Data Studio新版本中的Notebook环境进行了初步探索,强调了其在提升开发效率方面的价值。
682 16
|
机器学习/深度学习 数据采集 DataWorks
DataWorks产品评测:数据处理与分析的最佳实践
DataWorks是阿里巴巴推出的大数据开发治理平台,支持从数据采集、预处理、存储到分析的全流程操作。本文评测了其在用户画像分析中的应用,包括数据收集、清洗、特征工程、模型训练、结果评估及应用部署等步骤,展示了其在提高数据资产管理效率、支持多种编程语言和技术栈、集成丰富可视化工具等方面的优势。同时,文章也指出了DataWorks在使用过程中的一些不便与问题,并提出了改进建议。
596 17
|
分布式计算 DataWorks 搜索推荐
DataWorks 产品评测与最佳实践探索!
DataWorks 是阿里巴巴推出的一站式智能大数据开发治理平台,内置15年实践经验,集成多种大数据与AI服务。本文通过实际使用角度,探讨其优势、潜力及改进建议。评测涵盖用户画像分析、数据治理、功能表现等方面,适合数字化转型企业参考。
554 1
|
数据采集 机器学习/深度学习 DataWorks
DataWorks产品评测:大数据开发治理的深度体验
DataWorks产品评测:大数据开发治理的深度体验
798 1

热门文章

最新文章