dataworks调度的时候可以依赖dataphin的任务产出节点么？
dataworks调度的时候可以依赖dataphin的任务产出节点么？计算都是基于maxcomput？
写回答
-
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。DataWorks调度时可以依赖Dataphin的任务产出节点，并且计算主要是基于MaxCompute。
DataWorks作为一个大数据开发与治理平台，提供了强大的任务调度功能。在调度过程中，如果某个节点需要依赖上游任务的输出数据，可以通过配置跨周期依赖来实现。这意味着如果一个任务节点需要使用昨天或者上一个时间周期的数据作为输入，它可以被设置为依赖上游任务的上一周期实例的输出。DataWorks支持多种跨周期依赖模式，包括一层子节点、本节点以及自定义节点依赖模式。这些机制确保了上下游节点间的正确依赖顺序，从而保障有效业务数据的适时产出。
至于计算引擎方面，DataWorks支持多种计算引擎，包括但不限于MaxCompute、Hologres、EMR、AnalyticDB、CDP等。其中，MaxCompute是一个广泛使用的大数据计算服务，提供快速、高效、可扩展的数据处理能力。通过将这些计算引擎绑定到DataWorks，用户可以在工作空间中进行数据开发和周期性调度等操作。
综上所述，DataWorks不仅能够调度依赖于Dataphin产出的任务节点，还提供了多样化的计算引擎选择，以支持不同的大数据处理需求。
2024-02-06 17:50:56赞同 展开评论 打赏 -
对接其他调度系统可以参考看下 https://help.aliyun.com/zh/dataworks/user-guide/create-an-http-trigger-node?spm=a2c4g.11186623.0.i2 ，此回答整理自钉群“DataWorks交流群(答疑@机器人)”
2024-02-06 10:07:36赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
热门讨论
热门文章
相关文章
相关电子书
更多
