开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

DataWorks配置MaxCompute监控配置分区表达式?

DataWorks配置MaxCompute监控配置分区表达式?

展开
收起
真的很搞笑 2023-07-22 15:39:13 91 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    DataWorks中,可以通过配置MaxCompute的监控策略来实现对分区表达式的监控。下面是配置MaxCompute监控分区表达式的一般步骤:

    登录DataWorks控制台,并进入对应的项目空间。

    在左侧导航栏中选择“数据开发”>“数据源”>“MaxCompute”>“表”。

    找到目标分区表,并点击其表名。

    在表详情页面中,点击右上角的“监控”按钮。

    在监控配置页面中,可以看到已有的监控策略列表。点击“新增规则”来添加新的监控规则。

    在新增规则的对话框中,配置以下参数:

    监控内容:选择“分区表达式”。
    表名:选择目标分区表的名称。
    规则名称:给监控规则起一个名称。
    表达式:填写要监控的分区表达式。可以使用MAXCOMPUTE SQL的表达式语法,支持常见的比较、逻辑和算术运算符。
    配置报警方式:在新增规则对话框中,可以选择报警方式,例如邮件、短信、钉钉等。根据需要选择适合的报警方式,并填写相应的联系人信息。

    点击“确定”保存配置。

    2023-07-30 17:23:11
    赞同 展开评论 打赏
  • 在DataWorks中配置MaxCompute的监控时,可以使用分区表达式来指定要监控的分区。以下是一般的步骤:

    1. 进入数据开发页面:登录到DataWorks控制台,进入对应的项目和空间,导航到"数据开发"页面。

    2. 创建监控节点:在数据开发页面,创建一个新的监控节点,用于配置MaxCompute的监控。

    3. 配置监控参数:在监控节点的配置面板上,填写所需的监控参数。其中包括选择要监控的表、选择监控类型(如数据质量、任务运行等)、配置触发条件和报警方式等。

    4. 配置分区表达式:在监控节点的配置面板上,找到分区表达式的配置项。根据你的需求,输入正确的分区表达式来选择要监控的特定分区。通常,可以使用类似于ds=20220101的表达式来选择指定日期的分区。

    5. 保存和发布:完成监控节点的配置后,点击保存并执行发布流程。这样,你的监控配置将同步到生产环境。

    2023-07-23 13:02:57
    赞同 展开评论 打赏
  • 数据质量通过分区表达式来确定需要配置的规则:如果您的检查对象为非分区表,可以配置分区表达式为NOTAPARTITIONTABLE。如果您的检查对象为分区表,可以配置为业务日期的表达式(例如$[yyyymmdd]),也可以配置为正则表达式。在数据表的监控规则页面,单击分区表达式后的+,添加分区表达式。image.png
    您可以选择新建分区表达式,也可以选择推荐的分区表达式:新建分区的表达式在添加分区对话框中,您可以根据自身需求编辑符合语法的分区表达式。非分区表可以直接选择推荐的分区表达式中的NOTAPARTITIONTABLE。一级分区的表达式格式:分区名=分区值,分区值可以是固定值,也可以是内置参数表达式。分区表必须配置到最后一级分区。多级分区表达式格式:1级分区名=分区值/2级分区名=分区值/N级分区名=分区值,分区值可以是固定值,也可以是内置参数表达式。参数必须使用中括号表示,例如$[yyyymmdd-N]。分区表达式周期由配置的业务日期决定,例如配置运行时间为前5天,则周期为每5天调度一次。支持的分区表达式如下表所示。分区表达式 描述
    dt=$[yyyymmdd-N] 代表前N天
    dt=$[yyyymm01-1] 代表每月1日
    dt=$[yyyymm01-Nm] 代表N月前1日
    dt=$[yyyymmld-1] 代表每月最后一天
    dt=$[yyyymmld-1m] 代表N月前最后一天
    dt=$[hh24miss-1/24] 代表一个小时前
    dt=$[hh24miss-30/24/60] 代表半个小时前
    $[yyyymmdd] 调度日期
    $[yyyymmdd-1] 格式为yyyymmddmiss-1,默认为当前实例运行的业务日期的前一天。
    $[yyyymmddhh24miss] 格式为yyyymmddhh24miss,当前实例运行的业务日期:
    NOTAPARTITIONTABLE 非分区表可以选择该分区表达式推荐的分区表达式下文将以分区名dt为例,为您介绍推荐的分区表达式。动态分区表建议使用包括正则的分区表达式。在添加分区对话框中,单击输入表达式的窗口,会显示数据质量为您推荐的分区表达式:如果有符合预
    https://help.aliyun.com/document_detail/73690.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-22 15:45:38
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载