开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks如何实现实例的开始运行?

DataWorks如何实现实例的开始运行?

展开
收起
wenti 2023-01-16 14:04:16 183 0
2 条回答
写回答
取消 提交回答
  • 由上文可见,提交发布至运维中心的各类任务在实际运行时,均需要先生成可运行任务的任务实例,然后通过不同任务的触发运行机制开始运行任务。以周期任务为例:周期任务被提交到运维中心,后续周期调度运行时,DataWorks每晚会生成第二天运行任务的实例,周期实例会根据您设置的调度配置结果(节点的依赖关系、定时时间、使用的资源等),满足运行条件后即会自动调度。您可以针对周期任务手动触发补数据生成补数据实例,用于运行获取周期任务在某一历史时间段的结果数据;或者针对周期任务手动触发任务测试,生成测试实例。说明 通过上述描述可知,周期实例根据周期任务自动生成并根据条件自动运行。测试实例、补数据实例是针对周期任务手动触发的,因此会以最新的任务配置情况生成对应的实例。您可以在周期任务运维下的周期实例面板、补数据实例面板、测试实例面板中查看各类实例的运行情况,根据实例的状态了解数据产出是否异常,不同实例状态的详情请参见附录:实例状态。实例类型 应用场景 与周期任务的关系 (对应实例如何生成) 实例触发方式 (对应实例如何触发执行) 任务运行条件 周期实例 周期性自动化进行ETL操作。 平台根据某一时间点周期任务快照信息自动生成周期实例。 平台自动触发周期实例执行。 image.png

    以周期实例上的任务为例,任务开始运行前需满足以下条件: 补数据实例 人为针对当前周期任务手动触发补数据操作,并生成补数据实例。 人为针对对周期任务进行补数据操作后,会生成补数据实例,并同时触发补数据实例执行。 测试实例 需要对当前周期任务进行测试运行,观察执行结果是否符合预期。 人为针对当前周期任务手动触发测试操作,并生成测试实例。 人为针对周期任务的进行测试操作后,会生成测试实例,并且同时触发测试实例执行。节点发布生产环境后,您可以马上在周期任务面板看到,但周期实例何时生成跟您选择的实例生成方式有关。详情请参考配置时间属性。——该回答整理自钉群“DataWorks交流群(答疑@机器人)“

    2023-01-16 17:11:42
    赞同 展开评论 打赏
  • GitHub https://github.com/co63oc/cloud

    https://help.aliyun.com/document_detail/422710.html 调试代码片段:快捷运行

    2023-01-16 15:32:52
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多