开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据质量如何配置的表达式格式有哪些?

DataWorks数据质量如何配置的表达式格式有哪些?

展开
收起
真的很搞笑 2023-09-30 16:05:41 100 0
1 条回答
写回答
取消 提交回答
  • 数据质量通过分区表达式来确定需要配置的规则:如果您的检查对象为非分区表,可以配置分区表达式为NOTAPARTITIONTABLE。如果您的检查对象为分区表,可以配置为业务日期的表达式(例如$[yyyymmdd]),也可以配置为正则表达式。在数据表的监控规则页面,单击分区表达式后的+,添加分区表达式。image.png
    您可以选择新建分区表达式,也可以选择推荐的分区表达式:新建分区的表达式在添加分区对话框中,您可以根据自身需求编辑符合语法的分区表达式。非分区表可以直接选择推荐的分区表达式中的NOTAPARTITIONTABLE。一级分区的表达式格式:分区名=分区值,分区值可以是固定值,也可以是内置参数表达式。分区表必须配置到最后一级分区。多级分区表达式格式:1级分区名=分区值/2级分区名=分区值/N级分区名=分区值,分区值可以是固定值,也可以是内置参数表达式。参数必须使用中括号表示,例如$[yyyymmdd-N]。分区表达式周期由配置的业务日期决定,例如配置运行时间为前5天,则周期为每5天调度一次。支持的分区表达式如下表所示。分区表达式 描述
    dt=$[yyyymmdd-N] 代表前N天
    dt=$[yyyymm01-1] 代表每月1日
    dt=$[yyyymm01-Nm] 代表N月前1日
    dt=$[yyyymmld-1] 代表每月最后一天
    dt=$[yyyymmld-1m] 代表N月前最后一天
    dt=$[hh24miss-1/24] 代表一个小时前
    dt=$[hh24miss-30/24/60] 代表半个小时前
    $[yyyymmdd] 调度日期
    $[yyyymmdd-1] 格式为yyyymmddmiss-1,默认为当前实例运行的业务日期的前一天。
    $[yyyymmddhh24miss] 格式为yyyymmddhh24miss,当前实例运行的业务日期:
    NOTAPARTITIONTABLE 非分区表可以选择该分区表达式推荐的分区表达式下文将以分区名dt为例,为您介绍推荐的分区表达式。动态分区表建议使用包括正则的分区表达式。在添加分区对话框中,单击输入表达式的窗口,会显示数据质量为您推荐的分区表达式:如果有符合预
    https://help.aliyun.com/document_detail/73690.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-09-30 16:31:19
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多