开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

Dataworks配置时间属性:发布后即时生成实例常见使用场景:上游节点实例为T+1次日生成,下游?

Dataworks配置时间属性:发布后即时生成实例常见使用场景:上游节点实例为T+1次日生成,下游节点实例为即时生成?

展开
收起
真的很搞笑 2023-07-12 08:59:02 140 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在阿里云 DataWorks 中,发布后即时生成实例的常见使用场景之一是在数据同步过程中,处理上游节点实例为 T+1 次日生成的情况。具体来说,如果上游节点的实例是在 T+1 次日生成的,则需要在下游节点中进行时间属性的配置,以确保下游节点能够正确地处理上游节点的数据。
    具体的操作步骤如下:
    在下游节点中配置时间属性:在 DataWorks 控制台中,选择下游节点,进入数据同步页面,选择“属性配置”选项卡,在“属性配置”页面中找到时间属性,设置为“${bdp.system.bizdate}”,并保存修改。
    在发布后即时生成实例:在 DataWorks 控制台中,选择下游节点,点击“发布”按钮,选择“发布后即时生成实例”选项,并保存发布配置。
    运行数据同步任务:在发布完成后,等待数据同步任务运行,即可自动使用 T+1 次日的时间作为时间属性,处理上游节点的数据。

    2023-07-30 19:43:33
    赞同 展开评论 打赏
  • 在DataWorks中,可以通过配置时间属性来实现节点的延迟生成实例,以满足上游节点生成实例后的下游节点需求。常见的使用场景之一是,上游节点实例生成时间为 T+1(即次日),而下游节点需要立即使用上游节点的数据进行处理。

    以下是一个具体的示例场景:

    1. 上游节点(Source):假设有一个上游节点负责从某个数据源获取数据,这个节点的数据源每天都会生成新的数据,但是该数据在第二天才能被完全获取和处理。因此,上游节点的实例生成时间为 T+1(即次日)。

    2. 下游节点(Target):下游节点需要使用上游节点生成的数据进行处理。由于上游节点的数据在 T+1 才能完全获取,下游节点需要立即使用这些数据进行处理。因此,下游节点需要配置时间属性,以触发实例在上游节点生成实例后立即执行。

    为了配置下游节点使其能够立即执行,你可以按照以下步骤进行操作:

    • 在 DataWorks 的工作流页面,找到下游节点。
    • 鼠标移动到该节点上,在节点的右上角会出现一个"设置"图标。点击该图标,进入节点的属性设置界面。
    • 在时间属性设置中,设置节点的调度方式为 "依赖调度"。
    • 然后,在 "依赖节点" 设置中,将上游节点作为依赖节点,并选择 "生成实例后立即执行" 选项。
    • 最后,保存修改。
    2023-07-12 12:56:08
    赞同 展开评论 打赏
  • 实时转实例使用场景通常为上游节点实例的生成方式配置为T+1次日生成,下游节点实例的生成方式配置为发布后即时生成。以下图为例,上下游节点间的依赖关系如图所示。image.png
    由于上游节点发布后第二天才会生成实例,而下游节点的实例为提交发布节点后即时生成,所以下游节点提交发布后,下游实时转实例任务是否正常执行,取决于上游节点当天的实例是否已经存在。细分场景及影响如下表所示。细分场景 调度运行的影响 总结
    上下游节点均为当天新增节点。 即下游节点提交发布时,上游节点的实例还未生成。 建议您修改上游节点的实例生成方式为发布后即时生成,则所有实例可正常生成,任务可正常调度运行。
    上游实例已经产生,下游节点为新增实时转实例的节点。 即下游节点提交发布时,上游节点已有成功生成的实例。 任何跨周期自依赖的调度是否成立,都需要以前一天该节点是否可以正常调度运行作为依据。
    https://help.aliyun.com/document_detail/137554.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-12 10:26:49
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载