DataWorks百问百答02:如何设置跨周期依赖及自依赖?

简介: 为您介绍DataWorks支持三种跨周期依赖模式(依赖上一周期)。

DataWorks支持三种跨周期依赖模式(依赖上一周期):

  1. 一层子节点:依赖当前节点的下游。例如,节点A存在b、c、d三个下游节点,依赖一层子节点是指节点A依赖   b、c、d三个节点的上一周期。
  2. 本节点:依赖当前节点的上一周期(即自依赖)。
  3. 自定义:手动输入需要依赖的节点id,多个节点间英文逗号分隔,依赖该id节点的上一周期。

注意:不要重复配置依赖,调度配置中配置了“依赖上一周期”后,在“父节点输出”那里,不要重复配置依赖,否则会出现依赖上游“昨天+今天”两天的实例等情况。

image.png

跨周期依赖典型场景

【典型场景一】
“一层子节点”应用场景:对本节点的结果表进行清洗,查看是否正常产出最终结果
【典型场景二】
Q:天任务依赖小时任务,不想等24个小时任务实例跑完才跑天任务,天任务希望尽量按定时时间12:00跑
A:上游小时任务配置“依赖上一周期”选“本节点”;下游天任务定时调度时间选12:00,天任务不需要设置跨周期依赖。这样天任务就会在12点开始跑,且依赖最新跑完的那个小时任务实例的数据(下有图解)
【典型场景三】
Q:天任务依赖小时任务昨天的数据
A:下游天任务配置“依赖上一周期”选“自定义”,填上游小时任务的id
【典型场景四】
Q:小时任务依赖天任务,上游天任务跑完,下游小时任务多个周期定时时间已到,导致小时任务多周期并发调起怎么办
A:下游小时任务配置“依赖上一周期”选“本节点”(下有图解)
【典型场景五】
Q:本节点依赖自己的上一周期产出的数据,不知上一周期何时产出
A:本节点配置“依赖上一周期”选“本节点”

自依赖应用技巧

自依赖是天然的跨周期依赖。

  1. 小时任务依赖天任务(即上述典型场景四)

上游天任务跑完,下游小时任务多个周期定时时间已到希望小时任务多周期并发调起。不配置自依赖的话,12点过后a1和a2实例会并发调起。
image.png

  1. 天任务依赖小时任务(即上述典型场景二)

不想等24个小时任务实例跑完才跑天任务,天任务希望尽量按定时时间12:00跑。配置自依赖后,实例a2跑完,12点一到,实例A就会调起。
image.png

DataWorks百问百答历史记录请点击查看

采购季限时!原价2500元现仅需99元,3分钟入门DataWorks标准版6大场景!点击查看

更多DataWorks技术和产品信息,欢迎加入【DataWorks钉钉交流群】

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
目录
相关文章
|
DataWorks Java 关系型数据库
DataWorks百问百答05:数据同步任务出现脏数据怎么办?
DataWorks百问百答05:数据同步任务出现脏数据怎么办?
5943 0
|
3月前
|
人工智能 Java API
阿里 Assistant Agent 开源,助力开发者快速构建答疑、诊断智能助手
Assistant Agent 是一个基于 Spring AI Alibaba 构建的企业级智能助手框架,采用代码即行动(Code-as-Action)范式,通过生成和执行代码来编排工具、完成任务。它是一个能理解、能行动、能学习的智能助手解决方案,可帮助企业快速构建智能答疑客服、系统诊断、运维助手、业务助理、AIOps 等智能体。
阿里 Assistant Agent 开源,助力开发者快速构建答疑、诊断智能助手
|
11月前
|
存储 消息中间件 OLAP
基于 Flink+Paimon+Hologres 搭建淘天集团湖仓一体数据链路
本文整理自淘天集团高级数据开发工程师朱奥在Flink Forward Asia 2024的分享,围绕实时数仓优化展开。内容涵盖项目背景、核心策略、解决方案、项目价值及未来计划五部分。通过引入Paimon和Hologres技术,解决当前流批存储不统一、实时数据可见性差等痛点,实现流批一体存储与高效近实时数据加工。项目显著提升了数据时效性和开发运维效率,降低了使用门槛与成本,并规划未来在集团内推广湖仓一体架构,探索更多技术创新场景。
1827 3
基于 Flink+Paimon+Hologres 搭建淘天集团湖仓一体数据链路
|
11月前
|
传感器 人工智能 自然语言处理
火热邀测!DataWorks数据集成支持大模型AI处理
阿里云DataWorks数据集成新增大模型AI处理功能,支持在数据同步中无缝调用通义千问等AI模型,实现文本翻译、情感分析、摘要生成等功能。适用于电商客服、智能汽车、供应链、医疗、金融、法律及教育等多个场景,大幅提升数据处理效率与洞察深度。用户可通过自然语言配置,快速完成高级数据分析与处理,无需额外部署调试。立即申请测试资格,体验智能化数据处理!
1534 4
火热邀测!DataWorks数据集成支持大模型AI处理
|
11月前
|
SQL DataWorks 大数据
DataWorks x 婚礼纪:智能一站式数据开发治理平台让千万新人的幸福时刻“数智化”
婚礼纪是杭州火烧云科技推出的结婚服务平台,覆盖婚宴酒店、婚纱摄影等全产业链,年服务超2000万对新人。为应对海量数据处理挑战,婚礼纪选择阿里云DataWorks作为一站式大数据开发治理平台,解决数据血缘不清、指标口径混乱等问题。通过湖仓一体架构与全链路数据治理,实现多源异构数据高效整合,支撑精准营销、交易风控等核心场景。DataWorks新版数据开发Data Studio大幅提升开发效率,Copilot智能助手优化SQL代码生成与测试,助力婚礼纪构建数据驱动的结婚产业服务中枢。
|
9月前
|
分布式计算 Serverless OLAP
实时数仓Hologres V3.1版本发布,Serverless型实例从零开始构建OLAP系统
Hologres推出Serverless型实例,支持按需计费、无需独享资源,适合新业务探索分析。高性能查询内表及MaxCompute/OSS外表,弹性扩展至512CU,性能媲美主流开源产品。新增Dynamic Table升级、直读架构优化及ChatBI解决方案,助力高效数据分析。
实时数仓Hologres V3.1版本发布,Serverless型实例从零开始构建OLAP系统
|
9月前
|
自然语言处理 DataWorks 数据挖掘
DataWorks接入Qwen3-Coder!数据开发再提速!
阿里云DataWorks平台正式接入Qwen3-Coder模型,用户通过DataWorks Copilot智能助手,可实现自然语言交互完成代码生成、续写、优化等操作,显著提升数据开发与分析效率。同时支持Qwen-Code和Claude Code命令行Agent安装,助力Notebook智能高效落地。
|
12月前
|
人工智能 自然语言处理 DataWorks
DataWorks Copilot 集成Qwen3-235B-A22B混合推理模型,数据开发与分析效率再升级!
阿里云DataWorks平台正式接入Qwen3模型,支持最大235B参数量。用户可通过DataWorks Copilot智能助手调用该模型,以自然语言交互实现代码生成、优化、解释及纠错等功能,大幅提升数据开发与分析效率。Qwen3作为最新一代大语言模型,具备混合专家(MoE)和稠密(Dense)架构,适应多种应用场景,并支持MCP协议优化复杂任务处理。目前,用户可通过DataWorks Data Studio新版本体验此功能。
1784 23
DataWorks Copilot 集成Qwen3-235B-A22B混合推理模型,数据开发与分析效率再升级!
|
数据采集 SQL 人工智能
长文详解|DataWorks Data+AI一体化开发实战图谱
DataWorks是一站式智能大数据开发治理平台,内置阿里巴巴15年大数据建设方法论,深度适配阿里云MaxCompute、EMR、Hologres、Flink、PAI 等数十种大数据和AI计算服务,为数仓、数据湖、OpenLake湖仓一体数据架构提供智能化ETL开发、数据分析与主动式数据资产治理服务,助力“Data+AI”全生命周期的数据管理。
2421 5

相关产品

  • 大数据开发治理平台 DataWorks