开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks暂停节点时配置才节点上的数据质量规则和智能规则还生效吗?

DataWorks暂停节点时配置才节点上的数据质量规则和智能规则还生效吗?

展开
收起
真的很搞笑 2024-03-11 14:18:30 37 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,即使节点被暂停,配置在该节点上的数据质量规则和智能规则仍然会生效

    DataWorks作为一个大数据开发治理平台,提供了数据质量管理功能,允许用户为数据表配置质量监控规则。这些规则用于监控表数据是否符合要求,并在数据不符合预设的质量标准时自动拦截问题任务,以防止脏数据向下游蔓延。数据质量规则通常与产出该表数据的调度节点关联,这意味着即使节点暂停,只要数据质量规则已经配置并激活,它们仍然会在后台进行检查。

    此外,数据质量规则的配置是独立于节点运行状态的。即使在离线数据校验场景下,通过表配置的分区表达式来匹配节点每天产出的表分区,数据质量规则也会根据配置进行监控,不受节点运行状态的影响。

    总的来说,数据质量规则和智能规则的设计目的是为了确保数据的准确性和一致性,因此它们会持续监控数据质量,不论节点是否正在运行。如果您需要暂停某个节点但不希望质量规则失效,DataWorks的数据质量管理功能可以满足这一需求。不过,为了确保数据处理流程的顺畅,建议在暂停节点前仔细考虑可能的影响,并与团队成员沟通协调。

    2024-03-11 22:14:12
    赞同 展开评论 打赏
  • 智能监控如果是未完成之类的话 应该还是会触发 数据质量规则生效 但是不会触发规则运行 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-03-11 15:26:03
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载