要在DataWorks中对一个表进行监控,并设置当表中的数据量小于10条时触发短信或邮件报警,您可以按照以下步骤操作:
步骤一:进入表质量详情页
- 登录DataWorks控制台,切换至目标地域。
- 在左侧导航栏,单击数据开发与治理 > 数据质量,选择对应的工作空间后,单击进入数据质量。
- 在左侧导航栏,单击规则配置 > 按表配置,进入按表配置规则页面。
- 在左侧的数据源列表中,选择目标表所在的数据库。
- 根据数据库类型、数据库名称和表名等条件筛选目标表,单击目标表名或操作列的规则管理,进入该表的表质量详情页。
步骤二:创建质量监控
- 在表质量详情页中,单击新建质量监控。
- 配置质量监控的基本参数:
- 质量监控名称:自定义监控规则名称,例如
表数据量监控。
- 监控对象:默认为当前表。
- 数据范围:如果表是分区表,需通过分区表达式(如
分区名=分区值)指定需要校验的分区;如果是非分区表,默认为全表。
- 触发方式:选择生产调度触发或手动触发。
注意:如果选择生产调度触发,请确保关联的周期调度任务不使用公共调度资源组,否则可能导致执行失败。
- 质量问题处理策略:选择告警,并配置具体的告警方式(如短信、邮件等)。
- 单击保存完成质量监控的创建。
步骤三:配置数据质量规则
- 在表质量详情页中,单击创建规则。
- 选择系统模板规则,找到表行数大于固定值的规则模板,单击使用。
- 配置规则参数:
- 规则名称:自定义规则名称,例如
表数据量大于10条。
- 规则模板:选择表行数大于固定值。
- 规则范围:默认为当前表。
- 比较方式:设置表行数小于10时触发异常。
- 重要程度:选择强规则,以便在触发异常时阻塞下游任务节点。
- 单击确定完成规则的创建。
步骤四:订阅质量监控
- 在表质量详情页的质量监控页签,找到已创建的质量监控,单击操作列的更多 > 告警订阅。
- 在订阅管理对话框中,添加以下信息:
- 订阅方式:选择邮件通知或邮件和短信通知。
- 接收对象:输入接收报警信息的邮箱地址或手机号码。
- 单击保存完成订阅配置。
步骤五:测试规则执行
- 在表质量详情页的质量监控页签,找到已创建的质量监控,单击操作列的测试。
- 在测试运行对话框中,确认数据范围和调度时间参数后,单击测试运行。
- 当显示启动成功后,单击查看详情,查看测试运行的具体结果。
- 如果测试结果符合预期,修改质量监控的触发方式为生产调度触发,并通过关联指定的周期调度任务实现自动化监控。
注意事项
- 触发方式的选择:如果您的表是非MaxCompute表且选择了生产调度触发,请确保关联的调度任务不使用公共调度资源组,否则可能导致执行失败。
- 告警方式的限制:仅DataWorks企业版支持使用自定义Webhook方式进行报警。
- 费用说明:数据质量功能会根据触发校验规则的数据质量规则实例数计费,请确保了解相关计费规则。
通过以上步骤,您可以成功配置一个针对表数据量的监控规则,并在数据量小于10条时触发短信或邮件报警。