开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks如何配置开发完成的数据质量监控?

DataWorks如何配置开发完成的数据质量监控?

展开
收起
cuicuicuic 2023-07-22 16:10:26 88 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在DataWorks中配置开发完成的数据质量监控可以按照以下步骤进行:

    进入DataWorks项目空间,点击左侧导航栏的【数据质量】。

    在数据质量页面,点击【新建任务】按钮创建一个新的数据质量任务。

    在任务配置页面,填写任务名称和描述,选择所需的数据源。

    在数据质量任务编辑页面,配置数据质量规则:

    点击【添加规则】按钮,选择要检测的数据表或视图。
    选择要应用的数据质量规则类型,如空值检测、唯一性检测、数据格式检测等。
    配置规则的参数和阈值,根据实际需求进行设置。
    可以添加多个规则,并对每个规则进行适当的调整。
    配置告警规则:

    在每个数据质量规则下方,可以设置告警规则,以便在规则触发时发送告警通知。
    点击【添加告警】按钮,选择要应用的告警类型,如钉钉告警、邮件告警等。
    配置告警的接收人、告警级别等参数。
    完成数据质量任务配置后,点击【保存】按钮保存任务设置。

    在数据质量页面,找到刚创建的任务,点击

    2023-07-30 16:59:02
    赞同 展开评论 打赏
  • 在DataWorks中配置开发完成的数据质量监控,您可以按照以下步骤进行操作:

    1. 定义数据质量规则:根据需要,定义要监控的数据质量规则。这些规则可以包括数据完整性、准确性、一致性等方面的检查项。您可以使用DataWorks提供的数据质量规则模板库或自定义脚本来编写规则。

    2. 创建数据质量监控任务:在DataWorks中创建一个数据质量监控任务。您可以使用DataWorks中的调度功能,设置任务的执行时间和频率。

    3. 配置数据质量评估节点:在数据质量监控任务中,添加数据质量评估节点。该节点将执行数据质量规则,并生成相应的评估结果。

    4. 设置报警规则:根据需要,为数据质量监控任务设置报警规则。您可以配置触发报警的条件和阈值,以便在数据质量低于预期标准时及时收到通知。

    5. 数据质量报告与可视化:使用DataWorks提供的报表工具或可视化组件,生成数据质量报告和仪表盘。这样可以直观地查看数据质量指标的趋势和变化。

    6. 监控任务执行与调优:定期监控数据质量监控任务的执行情况,并根据需要进行调优。您可以分析任务的运行日志和报警信息,以及检查评估结果,以保证数据质量监控的准确性和可靠性。

    2023-07-23 13:01:47
    赞同 展开评论 打赏
  • 现在,您已经学习了如何创建SQL任务、如何处理原始日志数据。您可以继续下一个教程,学习如何对开发完成的任务设置数据质量监控,保证任务运行的质量。详情请参见配置数据质量监控。
    https://help.aliyun.com/document_detail/146696.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-22 16:32:30
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多