阿里云大数据ACP(一)大数据开发平台 DataWorks 1

简介: 阿里云大数据ACP(一)大数据开发平台 DataWorks 1

文章目录


一、DataWorks 简介

1.1 DataWorks 的功能概述

1.2 DataWorks 产品特点

1.3 DataWorks 产品优势

1.4 应用场景 (助力企业搭建大数据信息平台)


二、DataWorks 基本概念

2.1 组织与项目空间

2.2 任务(Task)

2.3 工作流、节点、依赖关系

2.4 任务(Task)类别

2.5 实例(Instance)

2.6 资源与函数


三、DataWorks 功能架构

3.1 功能模块

3.2 组织管理

3.3 项目管理

3.4 数据开发

3.5 数据管理

3.6 运维中心


四、DataWorks 角色隔离

4.1 DataWorks 中的角色


五、DataWorks 开发流程

5.1 新建项目空间

5.2 添加组织成员+项目成员

5.3 数据开发

5.4 数据开发流程

5.5 数据输入

5.6 数据加工

5.7 数据输出

5.8 代码发布

5.9 生产调度

5.10 生产运维


六、DataWorks 数据开发

6.1 数据开发总览

6.2 任务开发

6.3 任务类型

6.4 脚本开发

6.5 函数管理

6.6 发布管理

6.7 导入本地文件


七、DataWorks 调度配置

7.1 调度周期配置

7.2 调度参数配置

7.3 DataWorks 中的参数功能

7.4 调度依赖关系

7.5 跨周期依赖


八、数据管理

8.1 数据管理

8.2 全局概览

8.3 数据表的管理操作

8.4 数据权限


九、DataWorks 运维管理

9.1 运维管理

9.2 运维有关的权限

9.3 运维概览

9.4 手动任务 & 周期任务

9.5 监控报警


十、DataWorks 项目管理

10.1 项目管理综述

10.2 项目配置

10.3 项目成员管理

10.4 调度资源管理


一、DataWorks 简介


DataWorks(数据工场,原大数据开发套件)是阿里云重要的PaaS平台产品,提供数据集成、数据开发、数据地图、数据质量和数据服务等全方位的产品服务,一站式开发管理的界面,帮助企业专注于数据价值的挖掘和探索。


DataWorks支持多种计算和存储引擎服务,包括离线计算MaxCompute、开源大数据引擎E-MapReduce、实时计算(基于Flink)、机器学习PAI、图计算服务Graph Compute和交互式分析服务等,并且支持用户自定义接入计算和存储服务。DataWorks提供全链路智能大数据及AI开发和治理服务。


1.png


1.1 DataWorks 的功能概述


全面托管的调度


DataWorks提供强大的调度功能,详情请参见调度配置。

支持根据时间、依赖关系,进行任务触发的机制。详情请参见时间属性和依赖关系。

支持每日千万级别的任务,根据DAG关系准确、准时地运行。

支持分钟、小时、天、周和月多种调度周期配置。

完全托管的服务,无需关心调度的服务器资源问题。

提供隔离功能,确保不同租户之间的任务不会相互影响。

DataWorks支持离线同步、Shell、ODPS SQL、ODPS MR等多种节点类型,通过节点之间的相互依赖,对复杂的数据进行分析处理。


数据转化:依托MaxCompute强大的能力,保证了大数据的分析处理性能。

数据同步:依托DataWorks中数据集成的强力支撑,支持超过20种数据源,为您提供稳定高效的数据传输功能。


可视化开发


DataWorks提供可视化的代码开发、工作流设计器页面,无需搭配任何开发工具,简单拖拽和开发,即可完成复杂的数据分析任务。只要有浏览器有网络,您即可随时随地进行开发工作。


监控告警


运维中心提供可视化的任务监控管理工具,支持以DAG图的形式展示任务运行时的全局情况,详情请参见运维中心。


1.2 DataWorks 产品特点

20200512105742714.png


1.3 DataWorks 产品优势


20200512105808325.png


1.4 应用场景 (助力企业搭建大数据信息平台)

20200512135347990.png


二、DataWorks 基本概念


2.1 组织与项目空间


20200512105853746.png


2.2 任务(Task)

20200512105948484.png


2.3 工作流、节点、依赖关系

20200512110020661.png


2.4 任务(Task)类别

20200512110046622.png


2.5 实例(Instance)

20200512110120788.png


说明:在阿里云大数据开发平台中,节点任务在执行时会被实例化,并以MaxCompute 实例的形式存在。实例会经历未运行、等待时间/等待资源、运行中,成功/失败几个状态。


2.6 资源与函数

2020051211014594.png


说明:资源与函数都是 MaxCompute 的概念。


三、DataWorks 功能架构


20200512110232827.png


3.1 功能模块

image.png


3.2 组织管理

image.png


3.3 项目管理

image.png


3.4 数据开发

image.png


3.5 数据管理

image.png


3.6 运维中心

image.png


四、DataWorks 角色隔离


4.1 DataWorks 中的角色

image.png


image.png



五、DataWorks 开发流程


image.png


5.1 新建项目空间

image.png


5.2 添加组织成员+项目成员

image.png


5.3 数据开发

image.png


5.4 数据开发流程

image.png


5.5 数据输入

image.png


5.6 数据加工

image.png


5.7 数据输出

image.png


5.8 代码发布

image.png


5.9 生产调度

image.png


5.10 生产运维

image.png


相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
目录
相关文章
|
12月前
|
存储 分布式计算 大数据
【赵渝强老师】阿里云大数据存储计算服务:MaxCompute
阿里云MaxCompute是快速、全托管的TB/PB级数据仓库解决方案,提供海量数据存储与计算服务。支持多种计算模型,适用于大规模离线数据分析,具备高安全性、低成本、易用性强等特点,助力企业高效处理大数据。
609 0
|
10月前
|
人工智能 分布式计算 DataWorks
阿里云大数据AI产品月刊-2025年8月
阿里云大数据& AI 产品技术月刊【2025年 8 月】,涵盖 8 月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
723 2
|
10月前
|
存储 分布式计算 资源调度
【赵渝强老师】阿里云大数据MaxCompute的体系架构
阿里云MaxCompute是快速、全托管的EB级数据仓库解决方案,适用于离线计算场景。它由计算与存储层、逻辑层、接入层和客户端四部分组成,支持多种计算任务的统一调度与管理。
888 1
|
10月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
644 14
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
423 4
|
分布式计算 DataWorks 数据处理
在数据浪潮中前行:记录一次我与ODPS的实践、思考与展望
本文详细介绍了在 AI 时代背景下,如何利用阿里云 ODPS 平台(尤其是 MaxCompute)进行分布式多模态数据处理的实践过程。内容涵盖技术架构解析、完整操作流程、实际部署步骤以及未来发展方向,同时结合 CSDN 博文深入探讨了多模态数据处理的技术挑战与创新路径,为企业提供高效、低成本的大规模数据处理方案。
518 3
|
11月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
1087 0
|
10月前
|
传感器 人工智能 监控
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
318 14
|
10月前
|
机器学习/深度学习 传感器 监控
吃得安心靠数据?聊聊用大数据盯紧咱们的餐桌安全
吃得安心靠数据?聊聊用大数据盯紧咱们的餐桌安全
330 1