开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

Dataworks中Di任务在调度时可以依赖maxcomputer的节点吗?

Dataworks中Di任务在调度时可以依赖maxcomputer的节点吗?

展开
收起
cuicuicuic 2023-07-12 09:15:29 95 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在阿里云 DataWorks 中,Di(数据集成)任务是一种数据集成方式,用于实现数据的异构同步。Di 任务可以依赖 MaxCompute 的节点进行调度。
    具体来说,如果您在 DataWorks 中创建了一个 Di 任务,可以在任务配置中指定调度依赖。调度依赖是指任务执行所依赖的资源,例如其他任务、资源组、节点等。在 DataWorks 中,可以通过调度依赖实现任务的有序执行和资源的有效利用。
    如果您的 Di 任务需要依赖 MaxCompute 的节点进行调度,可以在任务配置中指定 MaxCompute 节点作为调度依赖。具体来说,可以在任务配置的“调度配置”中,选择“节点依赖”选项,在“节点类型”中选择“MaxCompute”,然后选择要依赖的 MaxCompute 节点即可。
    需要注意的是,调度依赖是有限制的,例如节点数量限制、节点类型限制等。如果您的 Di 任务依赖的 MaxCompute 节点超过了限制,可能会导致

    2023-07-30 19:29:30
    赞同 展开评论 打赏
  • 在DataWorks中,DI(Data Integration)任务可以依赖MaxCompute的节点进行调度。DI任务是一种数据集成任务,用于将数据从不同的数据源进行抽取、转换和加载。

    你可以通过以下步骤来配置DI任务依赖MaxCompute节点:

    1. 创建DI任务:在DataWorks中,创建一个DI任务。DI任务包括了从源数据源抽取数据、经过一系列的数据转换处理,并最终加载到目标数据源的过程。

    2. 设置MaxCompute节点为前置节点:在DI任务的属性设置中,找到“前置节点”或类似选项。选择需要依赖的MaxCompute节点作为DI任务的前置节点。这样,在MaxCompute节点成功执行完成后,DI任务才会被触发调度。

    3. 设置DI任务的调度时间周期:在DI任务的调度策略中,选择适当的调度时间周期。可以根据业务需求,设置DI任务每天、每周或其他频率进行调度。

    4. 保存任务配置:确认所有配置项都填写正确,并保存DI任务的配置。

    2023-07-12 12:02:42
    赞同 展开评论 打赏
  • 可以的哈,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-12 10:36:27
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

热门讨论

热门文章

相关电子书

更多
DataWorks全链路数据质量解决方案-2020飞天大数据平台实战应用第一季 立即下载
DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

相关实验场景

更多