阿里云 DataWorks v2.0 常见问题与难点解析整理

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
云解析DNS,个人版 1个月
全局流量管理 GTM,标准版 1个月
简介: 阿里云 DataWorks v2.0 常见问题与难点解析整理

一、依赖关系配置


依赖关系原理概述

三种依赖配置方式

“自动解析”配置依赖关系:推荐使用

手动配置依赖关系

“自动推荐”配置依赖关系


1.1 依赖关系原理概述


20200525095710442.png


可扩展性差,缺乏解耦


重跑任务的成本太高


输出名称


每个节点(Task)输出点的名称。用于在单个租户(阿里云账号)内设置依赖关系时,连接上下游两个节点(Task)的虚拟实体。


20200525100440493.png


【原则】


每个节点必须配置至少一个本节点输出名称、一个父节点输出名称


每个输出点必须在同租户、同Region唯一


20200525103917449.png


1.2 三种依赖配置方式


【依赖模式】


手动配置:手工搜索上游节点名称实现;


自动推荐:通过SQL血缘找到对应节点名


自动解析:通过SQL insert / create / from 解析输出名。


20200525104635572.png


1.3 自动解析依赖关系


原理:根据 INSERT / CREATE / FROM 自动填写上游输出名与本节点输出名


前提:下游任务的输入表必须是上游任务的产出表


20200525104913794.png


20200525105516592.png


1.4 手动配置依赖关系


20200525105934376.png


20200525110007425.png


可以通过拉线的方式手动配置,这是最简单的方式


填写上游节点输出名进行手动配置


1.5 “自动推荐”配置依赖关系


20200525110918685.png


二、常见问题解析


2.1 自动解析后提交失败


Q:自动解析后提交失败,报错:依赖的父节点输出projectname.table不存在,不能提交本节点,请先提交父节点。


20200525111147455.png


A:出现这种情况有以下两种原因:


1.上游节点未提交,提交后可以再次尝试。


2.上游节点已经提交,但上游节点的输出名不是 workshop_yanshi.tb_2 。

在当前的阿里云账号(同Region)下,必须存在一个拥有workshop_yanshi.tb_2输出名的节点已提交。


2.2 本节点输出中,下游节点名称等都是空且不能填写


Q:为什么本节点的输出中,下游节点名称、下游节点ID、责任人都是空且不能填写内容?

A:因为没有其他任意一个节点依赖于该输出名。

只有该输出名被依赖,且依赖它的节点被提交,此处才会自动解析出相关信息。


20200525112128889.png


2.3 如何不自动解析中间表


Q:使用自动解析依赖关系时,如何不解析到中间表?

A:除了在SQL代码中对表名邮件“删除输出/删除输入”之外,还可以在“配置中心”中约点中间表前缀,符合规则的中间表讲不会被解析。


20200525114639311.png


在左下角配置中心-项目配置中:


20200525114816143.png


三、标准模式解析


标准模式介绍


标准模式与简单模式的区别、优势


注意事项


3.1 标准模式介绍


20200525115127125.png


标准模式与简单模式的区别、优势


20200525135629642.png


20200525135702261.png


四、运维中心使用技巧


版面概述


20200525142206794.png


周期任务运维


20200525142413823.png

手动期任务运维


组合节点


注意事项


20200525143542475.png

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
目录
相关文章
|
21天前
|
前端开发 JavaScript 安全
javascript:void(0);用法及常见问题解析
【6月更文挑战第3天】JavaScript 中的 `javascript:void(0)` 用于创建空操作或防止页面跳转。它常见于事件处理程序和超链接的 `href` 属性。然而,现代 web 开发推荐使用 `event.preventDefault()` 替代。使用 `javascript:void(0)` 可能涉及语法错误、微小的性能影响和XSS风险。考虑使用更安全的替代方案,如返回 false 或箭头函数。最佳实践是保持代码清晰、安全和高性能。
31 0
|
3天前
|
存储 弹性计算 安全
阿里云服务器怎么样?云服务器ECS产品优势、应用场景、价格解析及常见问题参考
阿里云服务器ECS(Elastic Compute Service)是阿里云提供的性能卓越、稳定可靠、弹性扩展的IaaS(Infrastructure as a Service)级别云计算服务。把物理服务器比作买的房子,云服务器ECS,就是租赁的房子,阿里云云服务商就是管家。云服务商负责搭建机房、提供配套服务和维护,用户只需要付租金,即可“拎包入住”,无需自建机房、采购和配置硬件设施。如果不再需要云服务器,可随时“退租”(释放资源),节省成本。本文为大家解析云服务器ECS产品优势、应用场景和最新价格及常见问题。
阿里云服务器怎么样?云服务器ECS产品优势、应用场景、价格解析及常见问题参考
|
11天前
|
存储 弹性计算 NoSQL
阿里云服务器企业级实例购买及变配常见问题及解答
阿里云服务器企业级实例具有高性能、稳定计算能力和平衡网络性能的特点,因为具有独享且稳定的计算、存储、网络资源,这些实例规格族非常适合对业务稳定性具有高要求的企业场景。企业级云服务器拥有完全的云服务器cpu、内存使用资源,不与他人共享云服务器资源。有些新手用户不知道什么是企业级实例与共享型实例有何区别,在使用过程中需要注意些什么,下面是小编整理的几个阿里云企业级云服务器实例常见问题及解答,以供大家了解。
阿里云服务器企业级实例购买及变配常见问题及解答
|
17天前
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之如何将CSV文件从阿里云OSS同步到ODPS表,并且使用列作为表分区
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
DataWorks产品使用合集之如何将CSV文件从阿里云OSS同步到ODPS表,并且使用列作为表分区
|
11天前
|
分布式计算 DataWorks 调度
阿里云DataWorks-部署自定义python项目问题
阿里云DataWorks-多种方式部署自定义python项目并进行调度
|
1月前
|
弹性计算 数据挖掘 应用服务中间件
阿里云服务器通用算力型U1实例解析,实例性能、适用场景及常见问题参考
在阿里云服务器的所有实例规格中,通用算力型u1实例主打的是高性价比,通用算力型U1实例云服务器自推出以来,就受到了广大用户的关注,也是目前阿里云的活动中比较热门的云服务器实例,这个实例规格的性能要好于经济型e等共享型实例,价格又比计算型c7、通用型g7等其他企业级实例要低一些。本文将深入解析通用算力型U1实例的特点、适用场景以及价格优势,帮助用户更好地了解该云服务器实例。
阿里云服务器通用算力型U1实例解析,实例性能、适用场景及常见问题参考
|
19天前
|
JSON DataWorks 监控
DataWorks产品使用合集之如何实现数据迁移(从阿里云一个账号迁移到另一个账号)
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
32 1
|
2天前
|
Java
Java中的面试常见问题解析
Java中的面试常见问题解析
|
18天前
|
存储 算法 数据挖掘
数据结构面试常见问题:解锁10大关键问题及答案解析【图解】
数据结构面试常见问题:解锁10大关键问题及答案解析【图解】
|
1月前
|
存储 分布式计算 DataWorks
【阿里云云原生专栏】云原生下的数据湖建设:阿里云MaxCompute与DataWorks解决方案
【5月更文挑战第26天】在数字化时代,数据成为企业创新的关键。阿里云MaxCompute和DataWorks提供了一种构建高效、可扩展数据湖的解决方案。数据湖允许存储和分析大量多格式数据,具备高灵活性和扩展性。MaxCompute是PB级数据仓库服务,擅长结构化数据处理;DataWorks则是一站式大数据协同平台,支持数据集成、ETL和治理。通过DataWorks收集数据,MaxCompute存储和处理,企业可以实现高效的数据分析和挖掘,从而提升业务洞察和竞争力。
387 0

热门文章

最新文章

推荐镜像

更多