DataWorks数据质量监控自定义规则 自定义SQL中支持使用 关联调度节点参数列表中的参数吗?以及关联调度节点 节点上下文参数
在DataWorks的数据质量监控中,您可以创建基于模板的模板规则,也可以创建自定义SQL逻辑的自定义规则。当模板规则无法满足您对分区表达式中数据质量的监控需求时,可以使用自定义规则。为了进行有效的数据质量监控,创建规则前,您需要先创建分区表达式。
关于您的具体问题,DataWorks的数据质量监控自定义规则中的自定义SQL支持关联调度节点参数列表中的参数。这意味着您可以在编写自定义SQL逻辑时,利用调度节点参数来定义更复杂的数据质量校验条件。同时,DataWorks也支持通过关联调度节点来及时感知源端数据的变更与ETL过程中产生的脏数据,进而触发数据质量校验规则的执行。
此外,DataWorks的数据质量监控还支持多种不同的引擎,如MaxCompute、EMR-Hive、Hologres和ADB-PG等。无论您使用的是哪种引擎,都可以使用内置模板规则、自定义SQL规则和自定义模板规则来进行数据质量监控。这些规则都支持绝对值监控、同比/环比监控(与上一周期业务比较)、波动率监控和动态阈值监控等多种不同的监控方式。
DataWorks 数据质量监控自定义规则支持使用关联调度节点参数列表中的参数和节点上下文参数。您可以使用 ${} 符号引用这些参数。
不会关联调度节点中的参数 以及节点上下文 ;支持使用$[yyyymmdd-1]来代替分区值,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks数据质量监控自定义规则的自定义SQL中支持使用关联调度节点参数列表中的参数。在自定义SQL中,您可以使用 ${param_name} 的形式来引用关联调度节点参数列表中的参数。
此外,自定义规则还可以使用关联调度节点的节点上下文参数。节点上下文参数是关联调度节点在执行时传递给自定义规则的一组特殊参数。这些参数可以在自定义SQL中使用 ${node_context.param_name} 的形式来引用。
请注意,自定义规则只能使用在关联调度节点参数列表中声明过的参数。如果没有声明参数,则不能在自定义SQL中使用。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。