业务流程多节点依赖调度配置实践

简介: 在DataWorks业务流程开发过程。一个业务流程通常是由很多个数据同步、数据开发节点组成的。这很多个业务节点的上下游节点的连接通过执行顺序先后进行连接,系统自动就行上下游解析。这里主要用于测试在一个业务流程过程中根据业务需求进行节点连接之后自动解析上下游是否会发生错误。

一、实验目的:
在DataWorks业务流程开发过程。一个业务流程通常是由很多个数据同步、数据开发节点组成的。这很多个业务节点的上下游节点的连接通过执行顺序先后进行连接,系统自动就行上下游解析。这里主要用于测试在一个业务流程过程中根据业务需求进行节点连接之后自动解析上下游是否会发生错误。
二、实验步骤:
1、创建一个业务流程
2、创建一个start节点
3、创建五个数据同步节点
4、创建五个数据开发节点
5、根据业务需求进行节点上下文连线,如下图所示:
image

6、配置start节点的上游为工作空间根节点,点击提交
7、检查每个节点的上下游节点通过连接之后自动解析的结果和业务需求是否一致。
业务需求:
(1)start节点:
工作空间根节点--->start节点--->LogHub(数据同步)、MaxCompute(数据同步)、Hadoop(数据同步)、DataHub(数据同步)、Kafka(数据同步)、Dandu(数据开发)
image

(2)Hadoop(数据同步)
start--->Hadoop(数据同步)--->hadoopp(数据开发)
image

(3)LogHub(数据同步)
start--->LogHub(数据同步)--->hadoopp(数据开发)
image

(4)MaxCompute(数据同步)
start--->MaxCompute(数据同步)--->hadoopp(数据开发)
image

(5)DataHub(数据同步)
start--->DataHub(数据同步)--->loghubb(数据开发)
image

(6)Kafka(数据同步)
start--->Kafka(数据同步)--->loghubb(数据开发)
image

(7)Dandu(数据开发)
start--->Dandu(数据开发)--->dandu_jiedian(数据开发)
image

(8)hadoopp(数据开发)
Hadoop(数据同步)、LogHub(数据同步)、MaxCompute(数据同步)--->hadoopp(数据开发)--->huiju_jiedian(数据开发)
image

(9)loghubb(数据开发)
DataHub(数据同步)、Kafka(数据同步)--->loghubb(数据开发)--->huiju_jiedian(数据开发)
image

(10)dandu_jiedian(数据开发)
Dandu(数据开发)--->dandu_jiedian(数据开发)
image

(11)huiju_jiedian(数据开发)
loghubb(数据开发)、hadoopp(数据开发)--->huiju_jiedian(数据开发)
image

三、实验结果:
检测自动解析节点上下文依赖和业务需求的依赖关系是一致的。
四、实验总结:
在调度系统中,每一个工作空间中默认会创建一个projectname_root节点作为根节点。如果本节点没有上游节点,可以直接依赖根节点。
依赖属性中配置节点的上游依赖,表示即使当前节点的实例已经到定时时间,也必须等待上游节点的实例运行完毕,才会触发运行。
点击链接加入 MaxCompute开发者社区2群 https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745
或扫码加入
67cc36b608a5035daec4f4e0f99833039231bab0

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
【代码片段】uTools Api请求
开发uTools插件时要与uToolsApi交互
407 0
|
消息中间件 Java Linux
聊聊 Pulsar: 在 Linux 环境上搭建 Pulsar
聊聊 Pulsar: 在 Linux 环境上搭建 Pulsar
904 0
|
5天前
|
人工智能 供应链 数据挖掘
OPC中国的发展路径与未来规划:从开源社区到AI智能体人才生态的星辰大海
OPC中国是“智能体来了”旗下专注AI智能体时代人才生态建设的开源社区,聚焦OPC(一人公司)与OPD(一人部门)培育。通过“三步走”路径——2025-2026建标准、2026-2028扩规模、2028-2030促生态自循环,打造标准化、规模化、产品化、数字化、品牌化、生态化的人才基础设施。
|
2月前
|
人工智能 Linux API
【AI龙虾🦞OpenClaw保姆级手册】Skills详细解读+本地与阿里云部署方法+百炼API配置及常见问题处理
Skills作为AI生态中提升生产力的核心工具,已经火遍技术圈数月,全网都在热议其对工作效率的颠覆式提升,但真正能把Skills用透、并结合开源AI工具实现本地化落地的人却不多。与其追逐热点盲目尝试,不如等技术成熟后一次性吃透核心逻辑与实操方法——这也是我翻遍50余篇行业文章,结合Gemini、Claude、GPT等工具深度研究后,总结出的核心思路。本文不仅会讲透Skills的底层逻辑、创建与使用方法,还会附上2026年新手零基础就能上手的OpenClaw(Clawdbot)阿里云、MacOS、Linux、Windows11全平台部署流程,以及阿里云百炼API的配置方法和常见问题解答
841 0
|
11月前
|
Python
如何根据Excel某列数据为依据分成一个新的工作表
在处理Excel数据时,我们常需要根据列值将数据分到不同的工作表或文件中。本文通过Python和VBA两种方法实现该操作:使用Python的`pandas`库按年级拆分为多个文件,再通过VBA宏按班级生成新的工作表,帮助高效整理复杂数据。
|
安全 物联网 数据建模
SSL证书:网络安全的重要基石
在数字化时代,数据安全与隐私保护至关重要。SSL证书作为一种关键网络安全技术,通过加密和认证确保通信安全。本文从定义、工作原理、类型、应用场景到选择与维护全面解析SSL证书。其类型包括DV、OV和EV,广泛应用于电商、金融、政府及物联网等领域。选择时需明确需求、信赖CA,并关注成本与服务。及时更新证书,保障持续安全。SSL证书是守护网络安全的重要工具,对提升信任度和满足合规性意义重大。
|
运维 Kubernetes 供应链
云原生时代的运维体系进化
基于容器、Kubernetes 等云原生技术,提供的开放社区标准、不可变基础设施、声明式 API 会成为企业 CloudOps 的最佳实践,也将在这个基础上推进数据化、智能化体系建设,将运维复杂性进一步下沉,让企业可以聚焦于自己的业务创新。阿里云也将持续向外输出自身在超大规模云原生实践和探索中的能力沉淀,与更多企业、开发者一起,躬身入局,全面拥抱云原生运维技术体系。
5214 123
云原生时代的运维体系进化
|
XML 监控 Dubbo
Dubbo怎么配置监控中心
**摘要:** 本文介绍了如何配置Dubbo的简单监控中心。首先,通过添加`<dubbo:monitor protocol="registry" />`到配置文件启用监控。接着,修改`dubbo.properties`设置Zookeeper地址。启动监控中心,服务提供者和消费者需添加`monitorEnabled="true"`以开启监控功能。配置完成后,监控中心的Web界面能展示服务状态和性能指标,助力开发者和运维人员实时监控服务健康。
469 0
|
算法 计算机视觉
图像处理之计算二值连通区域的质心
图像处理之计算二值连通区域的质心
306 0

热门文章

最新文章