阿里云-DataWorks-数据分析开发到上线运维

本文涉及的产品
大数据开发治理平台DataWorks,Serverless资源组抵扣包300CU*H
简介: 本文主要讲解 阿里云-DataWorks- 数据分析开发到上线运维 的思路。因本文为IT人员以技术视角阐述 日常我们做数据分析的实际开发过程所转化,适合数据分析相关人员阅读。

DataWorks数据开发-解决方案

工作空间>解决方案>业务流程
DataWorks对数据开发模式进行全面升级,按照业务种类组织相关的不同类型的节点以更好地以
业务为单元、连接多个业务流程进行开发。
DataWorks通过工作空间 > 解决方案 > 业务流程三级结构,全新定义开发流程,提升开发体验:
工作空间:
权限组织的基本单位,用来控制您的开发、运维等权限。工作空间内成员的所有代码均可以协同开发管理。
解决方案:
可以自定义组合业务流程为一个解决方案。
它的优势如下:
1、包括多个业务流程。
2、解决方案之间可以复用相同的业务流程。
3、自定义组合而成的解决方案,可以让您进行沉浸式开发。
业务流程:
业务的抽象实体,让您能够以业务的视角来组织数据代码开发。业务流程可以被多个解决方案复用。
它的优势如下:
1、帮助我们从业务视角组织代码,更清晰,并且提供基于任务类型的代码组织方式。每个节点类型下均支持
创建多级子目录,右键单击相应的节点类型,选择新建文件夹即可(建议不超过4级)。
2、让我们可以从业务视角查看整体的业务流程,并进行优化。
3、提供业务流程看板,开发更高效。
4、让我们可以按照业务流程组织进行发布和运维。

IT技术人员数据开发

1、创建ODPS SQL节点。
ODPS SQL采用类似SQL的语法,适用于海量数据(TB级)但实时性要求不高的分布式处理场景。
2、编写含有业务逻辑的SQL。
3、调度参数配置、
必须是key=value的格式,且(=)前后不支持空格,示例如下。
time={yyyymmdd hh:mm:ss} //错误。
a =b //错误。
如果设置bizdate、date等关键字作为调度参数变量,格式必须是yyyymmdd。如果需要其它格式,请
使用其它变量名称,避免冲突,示例如下。
bizdate=201908 //错误,不支持。

4、配置上下游节点依赖关系,用于任务上线自动运行,默认可以挂在空间根节点上。
5、提交ODPS SQL节点 到运维中心上线。

补充任务配置的操作步骤:

  1. 新建数据源。
  2. 新建数据同步节点。
  3. 选择数据来源。
  4. 选择数据去向。
  5. 配置字段的映射关系。
  6. 配置作业速率上限、脏数据检查规则等信息。
  7. 配置调度属性。

运维中心

运维中心是日常运维的主要工具,可以对已提交的业务流程及其节点任务进行管理与维护。
运维中心包括运维大屏、任务列表、任务运维和智能监控4个模块。
运维大屏:主要对平台的全局任务进行查看与管理,包括实例执行概览、任务运行情况、任务节点执行时
长排行、调度任务数量趋势、近一个月出错排行以及当前工作空间的任务类型分布。
任务列表:任务列表包括周期任务和手动任务。
任务运维:任务运维包括周期实例、手动实例、测试实例和补数据实例。您可以通过列表视图和DAG图2
种方式进行管理。
列表视图以列表形式为您展示任务的运行状态,可以进行批量添加报警、修改责任人、添加到基线等操
作。
DAG图可以对节点的运行状态及上下游依赖关系等进行维护与管理,也可以对单个节点进行补数据、重
跑等操作。
智能监控:主要包括基线实例、基线管理、事件管理、规则管理和报警信息。

注意

因本文为IT人员以技术视角阐述 日常我们做数据分析的实际开发过程所转化,适合数据分析相关人员阅读。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
相关文章
|
6天前
|
存储 运维 安全
Spring运维之boot项目多环境(yaml 多文件 proerties)及分组管理与开发控制
通过以上措施,可以保证Spring Boot项目的配置管理在专业水准上,并且易于维护和管理,符合搜索引擎收录标准。
18 2
|
1月前
|
运维 Java Linux
【运维基础知识】掌握VI编辑器:提升你的Java开发效率
本文详细介绍了VI编辑器的常用命令,包括模式切换、文本编辑、搜索替换及退出操作,帮助Java开发者提高在Linux环境下的编码效率。掌握这些命令,将使你在开发过程中更加得心应手。
32 2
|
1月前
|
存储 运维 监控
实时计算Flink版在稳定性、性能、开发运维、安全能力等等跟其他引擎及自建Flink集群比较。
实时计算Flink版在稳定性、性能、开发运维和安全能力等方面表现出色。其自研的高性能状态存储引擎GeminiStateBackend显著提升了作业稳定性,状态管理优化使性能提升40%以上。核心性能较开源Flink提升2-3倍,资源利用率提高100%。提供一站式开发管理、自动化运维和丰富的监控告警功能,支持多语言开发和智能调优。安全方面,具备访问控制、高可用保障和全链路容错能力,确保企业级应用的安全与稳定。
39 0
|
1月前
|
SQL 分布式计算 数据挖掘
加速数据分析:阿里云Hologres在实时数仓中的应用实践
【10月更文挑战第9天】随着大数据技术的发展,企业对于数据处理和分析的需求日益增长。特别是在面对海量数据时,如何快速、准确地进行数据查询和分析成为了关键问题。阿里云Hologres作为一个高性能的实时交互式分析服务,为解决这些问题提供了强大的支持。本文将深入探讨Hologres的特点及其在实时数仓中的应用,并通过具体的代码示例来展示其实际应用。
163 0
|
3月前
|
运维 Devops 持续交付
自动化运维之路:从脚本到DevOps探索后端开发:从基础到高级实践
【8月更文挑战第28天】在数字化时代的浪潮中,企业对于IT运维的要求越来越高。从最初的手动执行脚本,到如今的自动化运维和DevOps实践,本文将带你领略运维的演变之旅。我们将探索如何通过编写简单的自动化脚本来提升效率,进而介绍DevOps文化的兴起及其对现代运维的影响。文章将为你揭示,通过持续集成、持续部署和微服务架构的实践,如何构建一个高效、可靠的运维体系。准备好让你的运维工作变得更加智能化和自动化了吗?让我们一起踏上这段旅程。 【8月更文挑战第28天】 本文旨在为初学者和有一定经验的开发者提供一个深入浅出的后端开发之旅。我们将一起探索后端开发的多个方面,包括语言选择、框架应用、数据库设计
|
3月前
|
运维 Kubernetes 监控
|
3月前
|
敏捷开发 运维 Devops
DevOps文化:打破开发与运维之间的壁垒
【8月更文挑战第14天】DevOps文化是现代软件开发和运维的重要趋势之一。通过打破开发与运维之间的壁垒,实现自动化、持续集成/持续部署以及紧密协作等关键实践,可以显著提高软件交付的质量和效率。对于任何希望在数字化时代保持竞争力的企业来说,拥抱DevOps文化无疑是一个明智的选择。
|
3月前
|
Kubernetes 网络协议 Python
运维开发.Kubernetes探针与应用
运维开发.Kubernetes探针与应用
132 2
|
3月前
|
运维 Devops 数据库
太卷了!DevOps,就是开发要把运维卷跑了?
太卷了!DevOps,就是开发要把运维卷跑了?
100 0
|
3月前
|
运维 监控 Kubernetes
揭秘运维开发:如何让你的系统更高效、更可靠?
揭秘运维开发:如何让你的系统更高效、更可靠?