开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks手动触发支持API 方式触发运行数据质量检测?调度触发仅调度完成后触发校验?

DataWorks手动触发支持API 方式触发运行数据质量检测?调度触发仅调度完成后触发校验?两者的区别是,手工触发多了支持api方式触发?

展开
收起
真的很搞笑 2024-08-21 12:41:47 42 0
1 条回答
写回答
取消 提交回答
  • DataWorks 的手动触发确实支持通过 API 方式来触发数据质量检测的运行,而调度触发则是在调度任务完成后自动触发校验。两者的主要区别在于手动触发提供了对 API 触发的支持,使得用户能够更加灵活地控制数据质量检测的执行时机和方式。

    在运维中心中,当表关联的调度节点运行(执行节点代码逻辑)完成后,将会触发数据质量校验(将会产生一条校验 SQL 在底层执行)。DataWorks平台将会根据数据质量规则强弱和数据质量规则校验结果决定任务是否由于质量规则校验失败而退出,并阻塞下游节点执行,防止脏数据影响范围进一步扩大。

    image.png
    参考文档https://help.aliyun.com/zh/dataworks/user-guide/data-quality-overview-old?spm=a2c4g.11186623.0.i23

    2024-08-30 09:13:08
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    Spring Boot2.0实战Redis分布式缓存 立即下载
    CUDA MATH API 立即下载
    API PLAYBOOK 立即下载