大数据计算MaxCompute现在有2个任务A和B A任务是凌晨2点多跑,B任务是小时跑,B依赖A 现状是 B任务0 1 2点调度要等A任务跑完一起跑3次,我这边想0和1点的调度正常跑 应该怎么设置?
根据您的描述,您希望在凌晨2点运行任务A,并在0、1点运行任务B,并且希望任务B能够独立于任务A运行。为了实现这个目标,您可以按照以下步骤进行设置:
首先,确保任务A的调度时间设置为凌晨2点。这可以通过MaxCompute的任务调度功能来实现。
然后,为任务B创建一个独立的调度计划。您可以使用MaxCompute的任务调度功能来创建一个新的调度计划,并将其设置为每天的0、1点运行。
接下来,将任务B的依赖关系设置为仅依赖于任务A的结果。这样,任务B将在0、1点独立运行,而不需要等待任务A完成。
最后,确保任务A和任务B之间的数据传输正确处理。如果任务B需要使用任务A的结果作为输入数据,您需要在任务B中添加相应的数据处理逻辑,以确保它能够正确地获取和使用任务A的结果。
通过以上设置,您可以实现在凌晨2点运行任务A,并在0、1点独立运行任务B的目标。请注意,具体的设置方法可能因MaxCompute的版本和配置而有所不同,您可以参考MaxCompute的官方文档或联系阿里云技术支持以获取更详细的指导。
设置自依赖。看下这个文档。
https://help.aliyun.com/zh/dataworks/user-guide/principles-and-samples-of-scheduling-configurations-in-complex-dependency-scenarios?spm=a2c4g.11186623.0.i30#section-oak-8w0-mq8 ,此回答整理自钉群“MaxCompute开发者社区2群”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。