阿里云 DataWorks v2.0 常见问题与难点解析整理

本文涉及的产品
大数据开发治理平台DataWorks,资源组抵扣包 750CU*H
全局流量管理 GTM,标准版 1个月
云解析 DNS,旗舰版 1个月
简介: 阿里云 DataWorks v2.0 常见问题与难点解析整理

一、依赖关系配置


依赖关系原理概述

三种依赖配置方式

“自动解析”配置依赖关系:推荐使用

手动配置依赖关系

“自动推荐”配置依赖关系


1.1 依赖关系原理概述


20200525095710442.png


可扩展性差,缺乏解耦


重跑任务的成本太高


输出名称


每个节点(Task)输出点的名称。用于在单个租户(阿里云账号)内设置依赖关系时,连接上下游两个节点(Task)的虚拟实体。


20200525100440493.png


【原则】


每个节点必须配置至少一个本节点输出名称、一个父节点输出名称


每个输出点必须在同租户、同Region唯一


20200525103917449.png


1.2 三种依赖配置方式


【依赖模式】


手动配置:手工搜索上游节点名称实现;


自动推荐:通过SQL血缘找到对应节点名


自动解析:通过SQL insert / create / from 解析输出名。


20200525104635572.png


1.3 自动解析依赖关系


原理:根据 INSERT / CREATE / FROM 自动填写上游输出名与本节点输出名


前提:下游任务的输入表必须是上游任务的产出表


20200525104913794.png


20200525105516592.png


1.4 手动配置依赖关系


20200525105934376.png


20200525110007425.png


可以通过拉线的方式手动配置,这是最简单的方式


填写上游节点输出名进行手动配置


1.5 “自动推荐”配置依赖关系


20200525110918685.png


二、常见问题解析


2.1 自动解析后提交失败


Q:自动解析后提交失败,报错:依赖的父节点输出projectname.table不存在,不能提交本节点,请先提交父节点。


20200525111147455.png


A:出现这种情况有以下两种原因:


1.上游节点未提交,提交后可以再次尝试。


2.上游节点已经提交,但上游节点的输出名不是 workshop_yanshi.tb_2 。

在当前的阿里云账号(同Region)下,必须存在一个拥有workshop_yanshi.tb_2输出名的节点已提交。


2.2 本节点输出中,下游节点名称等都是空且不能填写


Q:为什么本节点的输出中,下游节点名称、下游节点ID、责任人都是空且不能填写内容?

A:因为没有其他任意一个节点依赖于该输出名。

只有该输出名被依赖,且依赖它的节点被提交,此处才会自动解析出相关信息。


20200525112128889.png


2.3 如何不自动解析中间表


Q:使用自动解析依赖关系时,如何不解析到中间表?

A:除了在SQL代码中对表名邮件“删除输出/删除输入”之外,还可以在“配置中心”中约点中间表前缀,符合规则的中间表讲不会被解析。


20200525114639311.png


在左下角配置中心-项目配置中:


20200525114816143.png


三、标准模式解析


标准模式介绍


标准模式与简单模式的区别、优势


注意事项


3.1 标准模式介绍


20200525115127125.png


标准模式与简单模式的区别、优势


20200525135629642.png


20200525135702261.png


四、运维中心使用技巧


版面概述


20200525142206794.png


周期任务运维


20200525142413823.png

手动期任务运维


组合节点


注意事项


20200525143542475.png

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 产品官网 https://www.aliyun.com/product/bigdata/ide 大数据&AI体验馆 https://workbench.data.aliyun.com/experience.htm#/ 帮助文档https://help.aliyun.com/zh/dataworks 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
目录
相关文章
|
3月前
|
前端开发 JavaScript
React 步骤条组件 Stepper 深入解析与常见问题
步骤条组件是构建多步骤表单或流程时的有力工具,帮助用户了解进度并导航。本文介绍了在React中实现简单步骤条的方法,包括基本结构、状态管理、样式处理及常见问题解决策略,如状态管理库的使用、自定义Hook的提取和CSS Modules的应用,以确保组件的健壮性和可维护性。
91 17
|
6天前
|
缓存 边缘计算 安全
阿里云CDN:全球加速网络的实践创新与价值解析
在数字化浪潮下,用户体验成为企业竞争力的核心。阿里云CDN凭借技术创新与全球化布局,提供高效稳定的加速解决方案。其三层优化体系(智能调度、缓存策略、安全防护)确保低延迟和高命中率,覆盖2800+全球节点,支持电商、教育、游戏等行业,帮助企业节省带宽成本,提升加载速度和安全性。未来,阿里云CDN将继续引领内容分发的行业标准。
47 7
|
12天前
|
云安全 人工智能 安全
阿里云网络安全体系解析:如何构建数字时代的"安全盾牌"
在数字经济时代,阿里云作为亚太地区最大的云服务提供商,构建了行业领先的网络安全体系。本文解析其网络安全架构的三大核心维度:基础架构安全、核心技术防护和安全管理体系。通过技术创新与体系化防御,阿里云为企业数字化转型提供坚实的安全屏障,确保数据安全与业务连续性。案例显示,某金融客户借助阿里云成功拦截3200万次攻击,降低运维成本40%,响应时间缩短至8分钟。未来,阿里云将继续推进自适应安全架构,助力企业提升核心竞争力。
|
22天前
|
机器学习/深度学习 人工智能 自然语言处理
企业级API集成方案:基于阿里云函数计算调用DeepSeek全解析
DeepSeek R1 是一款先进的大规模深度学习模型,专为自然语言处理等复杂任务设计。它具备高效的架构、强大的泛化能力和优化的参数管理,适用于文本生成、智能问答、代码生成和数据分析等领域。阿里云平台提供了高性能计算资源、合规与数据安全、低延迟覆盖和成本效益等优势,支持用户便捷部署和调用 DeepSeek R1 模型,确保快速响应和稳定服务。通过阿里云百炼模型服务,用户可以轻松体验满血版 DeepSeek R1,并享受免费试用和灵活的API调用方式。
150 12
|
27天前
|
存储 人工智能 并行计算
2025年阿里云弹性裸金属服务器架构解析与资源配置方案
🚀 核心特性与技术创新:提供100%物理机性能输出,支持NVIDIA A100/V100 GPU直通,无虚拟化层损耗。网络与存储优化,400万PPS吞吐量,ESSD云盘IOPS达100万,RDMA延迟<5μs。全球部署覆盖华北、华东、华南及海外节点,支持跨地域负载均衡。典型应用场景包括AI训练、科学计算等,支持分布式训练和并行计算框架。弹性裸金属服务器+OSS存储+高速网络综合部署,满足高性能计算需求。
|
20天前
|
存储 弹性计算 人工智能
阿里云发票申请图文教程及常见问题解析
在购买完阿里云服务器或者其他云产品之后,如何申请发票成为了许多用户关注的焦点。尤其是对于初次购买阿里云服务器的用户来说,发票申请流程可能并不熟悉。本文将为大家详细介绍阿里云服务器购买之后如何申请发票,以及申请过程中可能遇到的常见问题,帮助大家轻松完成发票申请。
|
1月前
|
弹性计算 运维 网络安全
阿里云轻量应用服务器产品解析与搭建个人博客网站教程参考
轻量应用服务器(Simple Application Server)作为阿里云面向单机应用场景推出的云服务器产品,以其一键部署、一站式管理、高性价比等特性,深受个人开发者、中小企业及入门级用户的喜爱。本文将全面解析阿里云轻量应用服务器的产品优势、应用场景、使用须知,以及使用轻量应用服务器搭建个人博客网站的详细教程,帮助用户更好地了解和使用这一产品。
|
2月前
|
CDN
阿里云CDN怎么收费?看这一篇就够了,CDN不同计费模式收费价格全解析
阿里云CDN的费用由基础费用和增值费用组成。基础费用有三种计费方式:按流量、按带宽峰值和月结95带宽峰值,默认为按流量计费,价格根据使用量阶梯递减。增值费用包括静态HTTPS请求、QUIC请求等,按实际使用量收费,不使用不收费。具体收费标准和详细规则可参考阿里云官方页面。
|
2月前
|
Serverless 对象存储 人工智能
智能文件解析:体验阿里云多模态信息提取解决方案
在当今数据驱动的时代,信息的获取和处理效率直接影响着企业决策的速度和质量。然而,面对日益多样化的文件格式(文本、图像、音频、视频),传统的处理方法显然已经无法满足需求。
113 4
智能文件解析:体验阿里云多模态信息提取解决方案
|
2月前
|
存储 运维 安全
深入解析操作系统控制台:阿里云Alibaba Cloud Linux(Alinux)的运维利器
本文将详细介绍阿里云的Alibaba Cloud Linux操作系统控制台的功能和优势。
111 6

推荐镜像

更多