开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据质量监控自定义规则 自定义SQL中支持使用 关联调度节点参数列表中的参数吗?

DataWorks数据质量监控自定义规则 自定义SQL中支持使用 关联调度节点参数列表中的参数吗?以及关联调度节点 节点上下文参数

展开
收起
cuicuicuic 2023-11-14 08:03:36 40 0
4 条回答
写回答
取消 提交回答
  • 在DataWorks的数据质量监控中,您可以创建基于模板的模板规则,也可以创建自定义SQL逻辑的自定义规则。当模板规则无法满足您对分区表达式中数据质量的监控需求时,可以使用自定义规则。为了进行有效的数据质量监控,创建规则前,您需要先创建分区表达式。

    关于您的具体问题,DataWorks的数据质量监控自定义规则中的自定义SQL支持关联调度节点参数列表中的参数。这意味着您可以在编写自定义SQL逻辑时,利用调度节点参数来定义更复杂的数据质量校验条件。同时,DataWorks也支持通过关联调度节点来及时感知源端数据的变更与ETL过程中产生的脏数据,进而触发数据质量校验规则的执行。

    此外,DataWorks的数据质量监控还支持多种不同的引擎,如MaxCompute、EMR-Hive、Hologres和ADB-PG等。无论您使用的是哪种引擎,都可以使用内置模板规则、自定义SQL规则和自定义模板规则来进行数据质量监控。这些规则都支持绝对值监控、同比/环比监控(与上一周期业务比较)、波动率监控和动态阈值监控等多种不同的监控方式。

    2023-11-30 13:53:25
    赞同 展开评论 打赏
  • DataWorks 数据质量监控自定义规则支持使用关联调度节点参数列表中的参数和节点上下文参数。您可以使用 ${} 符号引用这些参数。

    2023-11-14 21:45:10
    赞同 展开评论 打赏
  • 不会关联调度节点中的参数 以及节点上下文 ;支持使用$[yyyymmdd-1]来代替分区值,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-14 11:54:32
    赞同 展开评论 打赏
  • DataWorks数据质量监控自定义规则的自定义SQL中支持使用关联调度节点参数列表中的参数。在自定义SQL中,您可以使用 ${param_name} 的形式来引用关联调度节点参数列表中的参数。
    此外,自定义规则还可以使用关联调度节点的节点上下文参数。节点上下文参数是关联调度节点在执行时传递给自定义规则的一组特殊参数。这些参数可以在自定义SQL中使用 ${node_context.param_name} 的形式来引用。
    请注意,自定义规则只能使用在关联调度节点参数列表中声明过的参数。如果没有声明参数,则不能在自定义SQL中使用。

    2023-11-14 09:36:10
    赞同 1 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks高效数据分析最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载