阿里云 DataWorks v2.0 常见问题与难点解析整理

本文涉及的产品
大数据开发治理平台DataWorks,Serverless资源组抵扣包300CU*H
云解析 DNS,旗舰版 1个月
全局流量管理 GTM,标准版 1个月
简介: 阿里云 DataWorks v2.0 常见问题与难点解析整理

一、依赖关系配置


依赖关系原理概述

三种依赖配置方式

“自动解析”配置依赖关系:推荐使用

手动配置依赖关系

“自动推荐”配置依赖关系


1.1 依赖关系原理概述


20200525095710442.png


可扩展性差,缺乏解耦


重跑任务的成本太高


输出名称


每个节点(Task)输出点的名称。用于在单个租户(阿里云账号)内设置依赖关系时,连接上下游两个节点(Task)的虚拟实体。


20200525100440493.png


【原则】


每个节点必须配置至少一个本节点输出名称、一个父节点输出名称


每个输出点必须在同租户、同Region唯一


20200525103917449.png


1.2 三种依赖配置方式


【依赖模式】


手动配置:手工搜索上游节点名称实现;


自动推荐:通过SQL血缘找到对应节点名


自动解析:通过SQL insert / create / from 解析输出名。


20200525104635572.png


1.3 自动解析依赖关系


原理:根据 INSERT / CREATE / FROM 自动填写上游输出名与本节点输出名


前提:下游任务的输入表必须是上游任务的产出表


20200525104913794.png


20200525105516592.png


1.4 手动配置依赖关系


20200525105934376.png


20200525110007425.png


可以通过拉线的方式手动配置,这是最简单的方式


填写上游节点输出名进行手动配置


1.5 “自动推荐”配置依赖关系


20200525110918685.png


二、常见问题解析


2.1 自动解析后提交失败


Q:自动解析后提交失败,报错:依赖的父节点输出projectname.table不存在,不能提交本节点,请先提交父节点。


20200525111147455.png


A:出现这种情况有以下两种原因:


1.上游节点未提交,提交后可以再次尝试。


2.上游节点已经提交,但上游节点的输出名不是 workshop_yanshi.tb_2 。

在当前的阿里云账号(同Region)下,必须存在一个拥有workshop_yanshi.tb_2输出名的节点已提交。


2.2 本节点输出中,下游节点名称等都是空且不能填写


Q:为什么本节点的输出中,下游节点名称、下游节点ID、责任人都是空且不能填写内容?

A:因为没有其他任意一个节点依赖于该输出名。

只有该输出名被依赖,且依赖它的节点被提交,此处才会自动解析出相关信息。


20200525112128889.png


2.3 如何不自动解析中间表


Q:使用自动解析依赖关系时,如何不解析到中间表?

A:除了在SQL代码中对表名邮件“删除输出/删除输入”之外,还可以在“配置中心”中约点中间表前缀,符合规则的中间表讲不会被解析。


20200525114639311.png


在左下角配置中心-项目配置中:


20200525114816143.png


三、标准模式解析


标准模式介绍


标准模式与简单模式的区别、优势


注意事项


3.1 标准模式介绍


20200525115127125.png


标准模式与简单模式的区别、优势


20200525135629642.png


20200525135702261.png


四、运维中心使用技巧


版面概述


20200525142206794.png


周期任务运维


20200525142413823.png

手动期任务运维


组合节点


注意事项


20200525143542475.png

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
目录
相关文章
|
13天前
|
机器学习/深度学习 人工智能 弹性计算
阿里云GPU服务器全解析_GPU价格收费标准_GPU优势和使用说明
阿里云GPU云服务器提供强大的GPU算力,适用于深度学习、科学计算、图形可视化和视频处理等场景。作为亚太领先的云服务商,阿里云GPU云服务器具备高灵活性、易用性、容灾备份、安全性和成本效益,支持多种实例规格,满足不同业务需求。
|
22天前
|
SQL DataWorks 关系型数据库
阿里云 DataWorks 正式支持 SelectDB & Apache Doris 数据源,实现 MySQL 整库实时同步
阿里云数据库 SelectDB 版是阿里云与飞轮科技联合基于 Apache Doris 内核打造的现代化数据仓库,支持大规模实时数据上的极速查询分析。通过实时、统一、弹性、开放的核心能力,能够为企业提供高性价比、简单易用、安全稳定、低成本的实时大数据分析支持。SelectDB 具备世界领先的实时分析能力,能够实现秒级的数据实时导入与同步,在宽表、复杂多表关联、高并发点查等不同场景下,提供超越一众国际知名的同类产品的优秀性能,多次登顶 ClickBench 全球数据库分析性能排行榜。
|
27天前
|
存储 弹性计算 NoSQL
"从入门到实践,全方位解析云服务器ECS的秘密——手把手教你轻松驾驭阿里云的强大计算力!"
【10月更文挑战第23天】云服务器ECS(Elastic Compute Service)是阿里云提供的基础云计算服务,允许用户在云端租用和管理虚拟服务器。ECS具有弹性伸缩、按需付费、简单易用等特点,适用于网站托管、数据库部署、大数据分析等多种场景。本文介绍ECS的基本概念、使用场景及快速上手指南。
69 3
|
1月前
|
域名解析 网络协议
非阿里云注册域名如何在云解析DNS设置解析?
非阿里云注册域名如何在云解析DNS设置解析?
|
1月前
|
运维 Cloud Native 持续交付
云原生技术解析:从IO出发,以阿里云原生为例
【10月更文挑战第24天】随着互联网技术的不断发展,传统的单体应用架构逐渐暴露出扩展性差、迭代速度慢等问题。为了应对这些挑战,云原生技术应运而生。云原生是一种利用云计算的优势,以更灵活、可扩展和可靠的方式构建和部署应用程序的方法。它强调以容器、微服务、自动化和持续交付为核心,旨在提高开发效率、增强系统的灵活性和可维护性。阿里云作为国内领先的云服务商,在云原生领域有着深厚的积累和实践。
56 0
|
1月前
|
JavaScript 前端开发 索引
Vue3 + Vite项目实战:常见问题与解决方案全解析
Vue3 + Vite项目实战:常见问题与解决方案全解析
61 0
|
1月前
|
监控 网络协议 数据挖掘
阿里云国际云解析DNS如何开启/关闭流量分析?
阿里云国际云解析DNS如何开启/关闭流量分析?
|
1月前
|
人工智能 分布式计算 数据处理
阿里云与传智教育联合直播:深度解析MaxFrame,探索量化交易新纪元
2024年10月15日,阿里云与传智教育联合举办了一场主题为“解密新一代AI+Python分布式计算框架MaxFrame”的直播,对阿里云最新推出的分布式计算框架MaxFrame进行了详细的介绍。
208 0
|
3月前
|
DataWorks Kubernetes 大数据
飞天大数据平台产品问题之DataWorks提供的商业化服务如何解决
飞天大数据平台产品问题之DataWorks提供的商业化服务如何解决
|
3月前
|
SQL DataWorks 安全
DataWorks产品使用合集之如何实现分钟级调度
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

热门文章

最新文章

  • 1
    DataWorks操作报错合集之DataWorks任务异常 报错: GET_GROUP_SLOT_EXCEPTION 该怎么处理
    109
  • 2
    DataWorks操作报错合集之DataWorksUDF 报错:evaluate for user defined function xxx cannot be loaded from any resources,该怎么处理
    107
  • 3
    DataWorks操作报错合集之在DataWorks中,任务流在调度时间到达时停止运行,是什么原因导致的
    106
  • 4
    DataWorks操作报错合集之DataWorks ODPS数据同步后,timesramp遇到时区问题,解决方法是什么
    91
  • 5
    DataWorks操作报错合集之DataWorks配置参数在开发环境进行调度,参数解析不出来,收到了 "Table does not exist" 的错误,该怎么处理
    88
  • 6
    DataWorks操作报错合集之DataWorks中udf开发完后,本地和在MaxCompute的工作区可以执行函数查询,但是在datawork里报错FAILED: ODPS-0130071:[2,5],是什么原因
    103
  • 7
    DataWorks操作报错合集之DataWorks提交失败: 提交节点的源码内容到TSP(代码库)失败:"skynet_packageid is null,该怎么解决
    115
  • 8
    DataWorks操作报错合集之DataWorks在同步mysql时报错Code:[Framework-02],mysql里面有个json类型字段,是什么原因导致的
    151
  • 9
    DataWorks操作报错合集之DataWorks集成实例绑定到同一个vpc下面,也添加了RDS的IP白名单报错:数据源配置有误,请检查,该怎么处理
    87
  • 10
    DataWorks操作报错合集之在 DataWorks 中运行了一个 Hologres 表的任务并完成了执行,但是在 Hologres 表中没有看到数据,该怎么解决
    124
  • 下一篇
    无影云桌面