您好,DataWorks中如果我想对一个表做个监控应该怎么操作呢?想要监控一个表中的数据量是否大于?

您好,DataWorks中如果我想对一个表做个监控应该怎么操作呢?想要监控一个表中的数据量是否大于10条,如果小于10条触发短信或者邮件?

展开
收起
真的很搞笑 2023-06-11 08:47:57 115 分享 版权
阿里云 AI 助理回答

要在DataWorks中对一个表进行监控,并设置当表中的数据量小于10条时触发短信或邮件报警,您可以按照以下步骤操作:


步骤一:进入表质量详情页

  1. 登录DataWorks控制台,切换至目标地域。
  2. 在左侧导航栏,单击数据开发与治理 > 数据质量,选择对应的工作空间后,单击进入数据质量
  3. 在左侧导航栏,单击规则配置 > 按表配置,进入按表配置规则页面。
  4. 在左侧的数据源列表中,选择目标表所在的数据库。
  5. 根据数据库类型、数据库名称和表名等条件筛选目标表,单击目标表名或操作列的规则管理,进入该表的表质量详情页

步骤二:创建质量监控

  1. 表质量详情页中,单击新建质量监控
  2. 配置质量监控的基本参数:
    • 质量监控名称:自定义监控规则名称,例如表数据量监控
    • 监控对象:默认为当前表。
    • 数据范围:如果表是分区表,需通过分区表达式(如分区名=分区值)指定需要校验的分区;如果是非分区表,默认为全表。
    • 触发方式:选择生产调度触发手动触发
      注意:如果选择生产调度触发,请确保关联的周期调度任务不使用公共调度资源组,否则可能导致执行失败。
    • 质量问题处理策略:选择告警,并配置具体的告警方式(如短信、邮件等)。
  3. 单击保存完成质量监控的创建。

步骤三:配置数据质量规则

  1. 表质量详情页中,单击创建规则
  2. 选择系统模板规则,找到表行数大于固定值的规则模板,单击使用
  3. 配置规则参数:
    • 规则名称:自定义规则名称,例如表数据量大于10条
    • 规则模板:选择表行数大于固定值
    • 规则范围:默认为当前表。
    • 比较方式:设置表行数小于10时触发异常。
    • 重要程度:选择强规则,以便在触发异常时阻塞下游任务节点。
  4. 单击确定完成规则的创建。

步骤四:订阅质量监控

  1. 表质量详情页质量监控页签,找到已创建的质量监控,单击操作列的更多 > 告警订阅
  2. 订阅管理对话框中,添加以下信息:
    • 订阅方式:选择邮件通知邮件和短信通知
    • 接收对象:输入接收报警信息的邮箱地址或手机号码。
  3. 单击保存完成订阅配置。

步骤五:测试规则执行

  1. 表质量详情页质量监控页签,找到已创建的质量监控,单击操作列的测试
  2. 测试运行对话框中,确认数据范围调度时间参数后,单击测试运行
  3. 当显示启动成功后,单击查看详情,查看测试运行的具体结果。
  4. 如果测试结果符合预期,修改质量监控的触发方式生产调度触发,并通过关联指定的周期调度任务实现自动化监控。

注意事项

  • 触发方式的选择:如果您的表是非MaxCompute表且选择了生产调度触发,请确保关联的调度任务不使用公共调度资源组,否则可能导致执行失败。
  • 告警方式的限制:仅DataWorks企业版支持使用自定义Webhook方式进行报警。
  • 费用说明:数据质量功能会根据触发校验规则的数据质量规则实例数计费,请确保了解相关计费规则。

通过以上步骤,您可以成功配置一个针对表数据量的监控规则,并在数据量小于10条时触发短信或邮件报警。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理