开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据质量如何进行关联调度?

DataWorks数据质量如何进行关联调度?

展开
收起
真的很搞笑 2023-11-20 07:51:05 57 0
3 条回答
写回答
取消 提交回答
  • 通过调度任务列表查看。https://help.aliyun.com/zh/dataworks/user-guide/manage-unexpected-data?spm=a2c4g.11186623.0.i104

    当数据质量监控规则关联调度节点后,您可进入调度节点的运行详情页面,在任务执行 > DQC面板,单击目标规则操作列的查看详情,查看问题数据采集过程。详情请参见:智能诊断。
    0fbddd8b84fcb1ad6dffdd0bc8a202f4_p575384.png

    2023-11-20 14:02:44
    赞同 1 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks数据质量管理功能支持通过关联调度实现自动化的数据质量检测。以下是进行关联调度的具体步骤:

    1. 配置规则 在关联调度之前,请先完成数据质量规则的配置。您可以根据业务场景,选择合适的规则模板并自定义参数。
    2. 关联调度任务 创建数据质量检测任务时,请确保您已经完成了关联调度的目标任务的配置。目标任务可以是ODS层或DWD层的任务,只要其输出的结果需要进行数据质量检测即可。
    3. 添加任务订阅 当目标任务的输出结果发生变化时,可以通过任务订阅的方式将其变化通知给数据质量检测任务。您可以在目标任务的详情页面点击【订阅管理】按钮,然后在弹出的对话框中设置订阅方式和接收者。
    4. 执行数据质量检测 当目标任务执行完毕并产生新的输出结果时,关联调度将会自动触发数据质量检测任务,从而实现自动化数据质量检测的功能。
    2023-11-20 13:38:38
    赞同 展开评论 打赏
  • 在DataWorks中,数据质量的关联调度是一种将分区表达式和节点任务进行关联的功能,支持与多个节点任务进行关联。当分区表达式下的任务运行时,与该表达式绑定的数据质量监控规则会自动触发检测。

    具体来说,您可以在数据质量规则配置页面点击"关联调度"按钮,进入关联调度配置页面。在这个页面的输入框中,输入您需要关联的任务节点名称,然后点击"添加"按钮。通过这种方式,您可以将数据质量规则与特定任务节点关联起来。

    值得注意的是,当与表关联的调度节点运行(执行节点代码逻辑)完成后,DataWorks平台将会根据数据质量规则强弱和数据质量规则校验结果决定任务是否由于质量规则校验失败退出,并阻塞下游任务的执行。这样,您可以确保数据质量的监控和控制,防止质量问题的数据影响业务决策。

    2023-11-20 09:27:19
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks全链路数据质量解决方案-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多