业务流程多节点依赖调度配置实践

简介: 在DataWorks业务流程开发过程。一个业务流程通常是由很多个数据同步、数据开发节点组成的。这很多个业务节点的上下游节点的连接通过执行顺序先后进行连接,系统自动就行上下游解析。这里主要用于测试在一个业务流程过程中根据业务需求进行节点连接之后自动解析上下游是否会发生错误。

一、实验目的:
在DataWorks业务流程开发过程。一个业务流程通常是由很多个数据同步、数据开发节点组成的。这很多个业务节点的上下游节点的连接通过执行顺序先后进行连接,系统自动就行上下游解析。这里主要用于测试在一个业务流程过程中根据业务需求进行节点连接之后自动解析上下游是否会发生错误。
二、实验步骤:
1、创建一个业务流程
2、创建一个start节点
3、创建五个数据同步节点
4、创建五个数据开发节点
5、根据业务需求进行节点上下文连线,如下图所示:
image

6、配置start节点的上游为工作空间根节点,点击提交
7、检查每个节点的上下游节点通过连接之后自动解析的结果和业务需求是否一致。
业务需求:
(1)start节点:
工作空间根节点--->start节点--->LogHub(数据同步)、MaxCompute(数据同步)、Hadoop(数据同步)、DataHub(数据同步)、Kafka(数据同步)、Dandu(数据开发)
image

(2)Hadoop(数据同步)
start--->Hadoop(数据同步)--->hadoopp(数据开发)
image

(3)LogHub(数据同步)
start--->LogHub(数据同步)--->hadoopp(数据开发)
image

(4)MaxCompute(数据同步)
start--->MaxCompute(数据同步)--->hadoopp(数据开发)
image

(5)DataHub(数据同步)
start--->DataHub(数据同步)--->loghubb(数据开发)
image

(6)Kafka(数据同步)
start--->Kafka(数据同步)--->loghubb(数据开发)
image

(7)Dandu(数据开发)
start--->Dandu(数据开发)--->dandu_jiedian(数据开发)
image

(8)hadoopp(数据开发)
Hadoop(数据同步)、LogHub(数据同步)、MaxCompute(数据同步)--->hadoopp(数据开发)--->huiju_jiedian(数据开发)
image

(9)loghubb(数据开发)
DataHub(数据同步)、Kafka(数据同步)--->loghubb(数据开发)--->huiju_jiedian(数据开发)
image

(10)dandu_jiedian(数据开发)
Dandu(数据开发)--->dandu_jiedian(数据开发)
image

(11)huiju_jiedian(数据开发)
loghubb(数据开发)、hadoopp(数据开发)--->huiju_jiedian(数据开发)
image

三、实验结果:
检测自动解析节点上下文依赖和业务需求的依赖关系是一致的。
四、实验总结:
在调度系统中,每一个工作空间中默认会创建一个projectname_root节点作为根节点。如果本节点没有上游节点,可以直接依赖根节点。
依赖属性中配置节点的上游依赖,表示即使当前节点的实例已经到定时时间,也必须等待上游节点的实例运行完毕,才会触发运行。
点击链接加入 MaxCompute开发者社区2群 https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745
或扫码加入
67cc36b608a5035daec4f4e0f99833039231bab0

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
存储 运维 监控
Apollo中的身份验证与授权:保护你的数据
Apollo中的身份验证与授权:保护你的数据
|
消息中间件 Java Linux
聊聊 Pulsar: 在 Linux 环境上搭建 Pulsar
聊聊 Pulsar: 在 Linux 环境上搭建 Pulsar
1025 0
|
4月前
|
人工智能 供应链 数据挖掘
OPC中国的发展路径与未来规划:从开源社区到AI智能体人才生态的星辰大海
OPC中国是“智能体来了”旗下专注AI智能体时代人才生态建设的开源社区,聚焦OPC(一人公司)与OPD(一人部门)培育。通过“三步走”路径——2025-2026建标准、2026-2028扩规模、2028-2030促生态自循环,打造标准化、规模化、产品化、数字化、品牌化、生态化的人才基础设施。
如何根据Excel某列数据为依据分成一个新的工作表
在处理Excel数据时,我们常需要根据列值将数据分到不同的工作表或文件中。本文通过Python和VBA两种方法实现该操作:使用Python的`pandas`库按年级拆分为多个文件,再通过VBA宏按班级生成新的工作表,帮助高效整理复杂数据。
|
6月前
|
人工智能 Linux API
【AI龙虾🦞OpenClaw保姆级手册】Skills详细解读+本地与阿里云部署方法+百炼API配置及常见问题处理
Skills作为AI生态中提升生产力的核心工具,已经火遍技术圈数月,全网都在热议其对工作效率的颠覆式提升,但真正能把Skills用透、并结合开源AI工具实现本地化落地的人却不多。与其追逐热点盲目尝试,不如等技术成熟后一次性吃透核心逻辑与实操方法——这也是我翻遍50余篇行业文章,结合Gemini、Claude、GPT等工具深度研究后,总结出的核心思路。本文不仅会讲透Skills的底层逻辑、创建与使用方法,还会附上2026年新手零基础就能上手的OpenClaw(Clawdbot)阿里云、MacOS、Linux、Windows11全平台部署流程,以及阿里云百炼API的配置方法和常见问题解答
1111 0
|
11月前
|
算法 定位技术
蓝牙室内定位核心技术解析:RSSI 与 AOA 的测距原理对比与精度升级逻辑
本文解析蓝牙室内定位核心技术,对比RSSI与AOA的测距原理,深入探讨从RSSI到AOA在精度、误差控制和硬件适配方面的升级逻辑,揭示两者如何互补满足不同场景需求。
|
存储 人工智能 缓存
运维智能体(SRE Agent)技术分级能力要求
本标准规范了运维智能体在场景应用、协同能力、能力建设及底座构建方面的技术要求,适用于公共与私有环境下的服务与产品。依据AI技术发展,定义了从初始级到优秀级的三级能力框架,涵盖感知、控制、行动等核心能力,推动运维智能化升级。
运维智能体(SRE Agent)技术分级能力要求
|
11月前
|
消息中间件 编解码 Kafka
企业微信ipad协议:Silk语音流转码为PCM的实时管线设计企业微信ipad协议:Silk语音流转码为PCM的实时管线设计企业微信ipad协议:Silk语音流转码为PCM的实时管线设计企业微信ipad协议:Silk语音流转码为PCM的实时管线设计
企业微信iPad协议中,语音消息采用Silk V3编码。为实现低延迟ASR,网关需实时将流式Silk解码为PCM并推送Kafka。通过内存池缓存解码器、无锁环形队列传输、逐块分窗处理,实现零拷贝、P99延迟≤10ms。单核支持200路并发,为实时字幕与语义分析提供高效数据底座。(238字)
1759 0
|
运维 Kubernetes 供应链
云原生时代的运维体系进化
基于容器、Kubernetes 等云原生技术,提供的开放社区标准、不可变基础设施、声明式 API 会成为企业 CloudOps 的最佳实践,也将在这个基础上推进数据化、智能化体系建设,将运维复杂性进一步下沉,让企业可以聚焦于自己的业务创新。阿里云也将持续向外输出自身在超大规模云原生实践和探索中的能力沉淀,与更多企业、开发者一起,躬身入局,全面拥抱云原生运维技术体系。
5451 127
云原生时代的运维体系进化
|
算法 计算机视觉
图像处理之计算二值连通区域的质心
图像处理之计算二值连通区域的质心
407 0

热门文章

最新文章