开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks配置数据质量监控操作步骤说是很么?

DataWorks配置数据质量监控操作步骤说是很么?

展开
收起
真的很搞笑 2023-08-27 14:53:24 97 0
1 条回答
写回答
取消 提交回答
  • 进入数据开发页面。登录DataWorks控制台。在左侧导航栏,单击工作空间列表。选择工作空间所在地域后,单击相应工作空间后的进入数据开发。进入ods_log_info_d表的监控规则页面。单击左上角的image.png
    图标,选择全部产品 > 数据质量。在左侧导航栏,单击监控规则,从数据源下拉列表中选择EMR。单击ods_log_info_d表后的配置监控规则。添加分区表达式。在已添加的分区表达式模块,单击+。添加分区对话框中,选择分区表达式为dt=$[yyyymmdd-1],并选择相应的数据质量插件。单击计算,即可查看调度结果。确认无误后,单击确认。创建规则。选中分区后,单击右上角的创建规则。在模板规则对话框中,单击添加监控规则。配置监控规则。参数 描述
    规则名称 新建规则的名称。
    强弱 设置规则的强度为强。
    动态阈值 根据自身需求,选择是否开启动态阈值。
    规则来源 包括内置模板和规则模板库。
    规则字段 请选择表级规则(table)。
    规则模板 请选择表行数,固定值。
    比较方式 请选择大于。
    期望值 设置为0,即比较方式为期望值大于0。配置完成后,单击批量添加。进行试跑。单击页面右上角的试跑。在试跑对话框中,选择调度时间和资源组,单击试跑。试跑完成后,单击试跑成功!点击查看试跑结果,即可跳转至试跑结果页面。进行关联调度。在ods_log_info_d表的监控规则页面,单击关联调度。在关联调度对话框中,输入节点ID或节点名称,单击添加。添加完成后,即可完成与调度节点任务的绑定,则任务实例运行完成都会触发数据质量的检查。配置任务订阅。在ods_log_info_d表的监控规则页面,单击订阅管理。在订阅管理对话框中,设置订阅方式和接受对象。目前支持的订阅方式包括邮件通知、邮件和短信通知、钉钉群机器人和钉钉群机器人@ALL。设置完成后,单击保存,您可以进入我的订阅页面进行查看和修改。
    https://help.aliyun.com/document_detail/146697.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-08-27 16:08:01
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多