DataWorks文档上说一个业务流程包含过多节点可能影响运行,为什么?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
在DataWorks中,一个业务流程通常由许多数据同步、数据开发节点组成。这些节点的上下游连接是通过执行顺序进行先后连接的,系统会自动进行上下游解析。当业务流程中的节点数量过多时,可能会对实际运行产生影响。例如,系统在进行上下游解析和任务调度时可能会因为节点过多而增加运算负担,导致效率下降。此外,对于每个节点的配置也需要逐个进行,无法进行批量配置。因此,为了保证业务流程的高效运行,建议单个业务流程下的节点总数不要超过100个。
DataWorks是一个分布式计算平台,它的计算任务是由多个节点组成的。当一个业务流程包含过多节点时,可能会对整个系统的运行产生负面影响,主要有以下几点原因:
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。