阿里云-DataWorks-数据分析开发到上线运维

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
简介: 本文主要讲解 阿里云-DataWorks- 数据分析开发到上线运维 的思路。因本文为IT人员以技术视角阐述 日常我们做数据分析的实际开发过程所转化,适合数据分析相关人员阅读。

DataWorks数据开发-解决方案

工作空间>解决方案>业务流程
DataWorks对数据开发模式进行全面升级,按照业务种类组织相关的不同类型的节点以更好地以
业务为单元、连接多个业务流程进行开发。
DataWorks通过工作空间 > 解决方案 > 业务流程三级结构,全新定义开发流程,提升开发体验:
工作空间:
权限组织的基本单位,用来控制您的开发、运维等权限。工作空间内成员的所有代码均可以协同开发管理。
解决方案:
可以自定义组合业务流程为一个解决方案。
它的优势如下:
1、包括多个业务流程。
2、解决方案之间可以复用相同的业务流程。
3、自定义组合而成的解决方案,可以让您进行沉浸式开发。
业务流程:
业务的抽象实体,让您能够以业务的视角来组织数据代码开发。业务流程可以被多个解决方案复用。
它的优势如下:
1、帮助我们从业务视角组织代码,更清晰,并且提供基于任务类型的代码组织方式。每个节点类型下均支持
创建多级子目录,右键单击相应的节点类型,选择新建文件夹即可(建议不超过4级)。
2、让我们可以从业务视角查看整体的业务流程,并进行优化。
3、提供业务流程看板,开发更高效。
4、让我们可以按照业务流程组织进行发布和运维。

IT技术人员数据开发

1、创建ODPS SQL节点。
ODPS SQL采用类似SQL的语法,适用于海量数据(TB级)但实时性要求不高的分布式处理场景。
2、编写含有业务逻辑的SQL。
3、调度参数配置、
必须是key=value的格式,且(=)前后不支持空格,示例如下。
time={yyyymmdd hh:mm:ss} //错误。
a =b //错误。
如果设置bizdate、date等关键字作为调度参数变量,格式必须是yyyymmdd。如果需要其它格式,请
使用其它变量名称,避免冲突,示例如下。
bizdate=201908 //错误,不支持。

4、配置上下游节点依赖关系,用于任务上线自动运行,默认可以挂在空间根节点上。
5、提交ODPS SQL节点 到运维中心上线。

补充任务配置的操作步骤:

  1. 新建数据源。
  2. 新建数据同步节点。
  3. 选择数据来源。
  4. 选择数据去向。
  5. 配置字段的映射关系。
  6. 配置作业速率上限、脏数据检查规则等信息。
  7. 配置调度属性。

运维中心

运维中心是日常运维的主要工具,可以对已提交的业务流程及其节点任务进行管理与维护。
运维中心包括运维大屏、任务列表、任务运维和智能监控4个模块。
运维大屏:主要对平台的全局任务进行查看与管理,包括实例执行概览、任务运行情况、任务节点执行时
长排行、调度任务数量趋势、近一个月出错排行以及当前工作空间的任务类型分布。
任务列表:任务列表包括周期任务和手动任务。
任务运维:任务运维包括周期实例、手动实例、测试实例和补数据实例。您可以通过列表视图和DAG图2
种方式进行管理。
列表视图以列表形式为您展示任务的运行状态,可以进行批量添加报警、修改责任人、添加到基线等操
作。
DAG图可以对节点的运行状态及上下游依赖关系等进行维护与管理,也可以对单个节点进行补数据、重
跑等操作。
智能监控:主要包括基线实例、基线管理、事件管理、规则管理和报警信息。

注意

因本文为IT人员以技术视角阐述 日常我们做数据分析的实际开发过程所转化,适合数据分析相关人员阅读。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
相关文章
|
4天前
|
SQL 运维 DataWorks
DataWorks旧版的运维中心-->周期任务。对应新版的哪个位置?
DataWorks旧版的运维中心-->周期任务。对应新版的哪个位置?
28 4
|
4天前
|
运维 DataWorks 关系型数据库
DataWorks产品使用合集之DataWorks中如何提升运维中心实时同步任务的运行速度
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
44 1
|
4天前
|
分布式计算 DataWorks 数据库
DataWorks产品使用合集之DataWorks运维大屏中,将图表设置为动态趋势图如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
38 0
|
4天前
|
数据采集 分布式计算 DataWorks
DataWorks产品使用合集之在阿里云的DataWorks中,使用CREATE AS创建分区表的步骤如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
29 2
|
4天前
|
分布式计算 DataWorks 调度
DataWorks产品使用合集之阿里云的DataWorks中,提交手动业务流程的步骤如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
25 0
|
4天前
|
分布式计算 DataWorks Java
DataWorks产品使用合集之阿里云DataWorks专有云环境下,上传MaxCompute的UDF(用户自定义函数)的JAR包的步骤如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
22 0
|
4天前
|
缓存 分布式计算 DataWorks
DataWorks产品使用合集之阿里云DataWorks中,天任务依赖小时任务的调度运行如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
21 1
|
4天前
|
数据采集 SQL DataWorks
DataWorks操作报错合集之在阿里云DataWorks的数据同步任务中,过滤条件不生效,如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
24 2
|
4天前
|
SQL DataWorks Java
DataWorks操作报错合集之在阿里云 DataWorks 中,代码在开发测试阶段能够成功运行,但在提交后失败并报错“不支持https”如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
26 1
DataWorks操作报错合集之在阿里云 DataWorks 中,代码在开发测试阶段能够成功运行,但在提交后失败并报错“不支持https”如何解决
|
4天前
|
SQL 运维 DataWorks
Flink CDC在阿里云DataWorks数据集成应用实践
本文整理自阿里云 DataWorks 数据集成团队的高级技术专家 王明亚(云时)老师在 Flink Forward Asia 2023 中数据集成专场的分享。
546 2
Flink CDC在阿里云DataWorks数据集成应用实践