DataWorks如何配置MaxCompute监控配置分区表达式?
数据质量通过分区表达式来确定需要配置的规则:如果您的检查对象为非分区表,可以配置分区表达式为NOTAPARTITIONTABLE。如果您的检查对象为分区表,可以配置为业务日期的表达式(例如$[yyyymmdd]),也可以配置为正则表达式。在数据表的监控规则页面,单击分区表达式后的+,添加分区表达式。您可以选择新建分区表达式,也可以选择推荐的分区表达式:新建分区的表达式在添加分区对话框中,您可以根据自身需求编辑符合语法的分区表达式。非分区表可以直接选择推荐的分区表达式中的NOTAPARTITIONTABLE。一级分区的表达式格式:分区名=分区值,分区值可以是固定值,也可以是内置参数表达式。分区表必须配置到最后一级分区。多级分区表达式格式:1级分区名=分区值/2级分区名=分区值/N级分区名=分区值,分区值可以是固定值,也可以是内置参数表达式。参数必须使用中括号表示,例如$[yyyymmdd-N]。分区表达式周期由配置的业务日期决定,例如配置运行时间为前5天,则周期为每5天调度一次。支持的分区表达式如下表所示。分区表达式 描述
dt=$[yyyymmdd-N] 代表前N天
dt=$[yyyymm01-1] 代表每月1日
dt=$[yyyymm01-Nm] 代表N月前1日
dt=$[yyyymmld-1] 代表每月最后一天
dt=$[yyyymmld-1m] 代表N月前最后一天
dt=$[hh24miss-1/24] 代表一个小时前
dt=$[hh24miss-30/24/60] 代表半个小时前
$[yyyymmdd] 调度日期
$[yyyymmdd-1] 格式为yyyymmddmiss-1,默认为当前实例运行的业务日期的前一天。
$[yyyymmddhh24miss] 格式为yyyymmddhh24miss,当前实例运行的业务日期:
NOTAPARTITIONTABLE 非分区表可以选择该分区表达式推荐的分区表达式下文将以分区名dt为例,为您介绍推荐的分区表达式。动态分区表建议使用包括正则的分区表达式。在添加分区对话框中,单击输入表达式的窗口,会显示数据质量为您推荐的分区表达式:如果有符合预
https://help.aliyun.com/document_detail/73690.html
,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
在DataWorks中配置MaxCompute监控时,可以使用分区表达式来指定要监控的分区。分区表达式可以根据需要选择特定的分区进行监控,而不必监控整个表。
以下是在DataWorks中配置MaxCompute监控的步骤:
例如,如果你的表按照日期进行了分区,可以使用如下的分区表达式来监控最近7天的数据:
ds >= '${yyyymmdd-7}'
这个表达式表示监控分区键(这里是"ds")大于等于7天前的日期。
需要注意的是,分区表达式的具体语法和格式取决于你实际使用的分区方式和字段。确保使用正确的分区表达式以满足你的需求。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。