开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks配置完成后的数据质量反馈如何实现?

DataWorks配置完成后的数据质量反馈如何实现?

展开
收起
真的很搞笑 2023-10-22 21:10:34 39 0
3 条回答
写回答
取消 提交回答
  • 在DataWorks中,数据质量反馈的实现主要依赖于以下功能:

    1. 数据质量监控:当源端数据发生变更或ETL过程中产生脏数据时,数据质量功能能第一时间感知并自动拦截问题任务,有效防止问题数据向下游传播,避免对正常使用和业务决策产生影响。此外,它还为用户提供了监控报警功能,用户可以订阅具体数据的质检规则,这样在出现质量校验异常结果时,就能立即接收到通知并快速处理,保障数据的安全、稳定和按时产出。

    2. 丰富的监控模板:DataWorks的数据质量监控功能提供了35种预设的表级别、字段级别和自定义的监控模板,以满足不同业务场景的需求。

    3. 灵活的校检逻辑:数据质量支持与固定值比较、波动值比较和动态阈值三种校检方式。用户可以根据具体的业务需求,选择最适合的校检方式。例如,对于SQL任务表行数的波动检测,可以选择与基准值(比如7天前的表行数或7天平均值)进行比较,以计算波动率。

    通过以上功能,DataWorks能够帮助用户实现对数据质量的有效管理和控制。

    2023-10-23 11:12:49
    赞同 展开评论 打赏
  • 针对已有的表进行监控规则配置,配置完成后进行试跑,验证该规则是否适用。您可以根据试跑结果,确认此次任务产出的数据是否符合预期。建议每个表的监控规则配置完成后,都进行一次试跑操作,以验证表规则的适用性。试跑成功后,将该规则和调度任务进行关联。在监控规则配置完成且试跑成功的情况下,您需要将表和其产出任务进行关联,以便每次表的产出任务运行完成后,都会触发数据质量规则的校验,以保证数据的准确性。关联调度后,每次调度任务代码运行完成,都会触发数据质量的校验规则,以提升任务准确性。数据质量支持设置规则订阅,您可以针对重要的表及其规则设置订阅,设置订阅后会根据数据质量的校验结果进行告警,从而实现对校验结果的跟踪。如果数据质量校验结果异常,则会根据配置的告警策略进行通知。说明每张表在完成规则的配置后,都需要进行试跑、关联调度和规则订阅等操作。数据质量会产生额外的计算费用,更多详情请参见概述。
    https://help.aliyun.com/document_detail/85362.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-23 08:05:45
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,可以通过以下步骤配置完成后的数据质量反馈:

    1. 登录DataWorks控制台,进入项目管理页面。
    2. 在项目管理页面中,选择您想要配置数据质量反馈的项目。
    3. 在项目页面中,点击“数据质量”按钮,进入数据质量页面。
    4. 在数据质量页面中,选择您想要配置数据质量反馈的数据质量任务。
    5. 在数据质量任务详情页面中,点击“数据质量检查”按钮,进入数据质量检查页面。
    6. 在数据质量检查页面中,选择您想要配置数据质量反馈的数据质量检查。
    7. 在数据质量检查详情页面中,点击“反馈设置”按钮,进入反馈设置页面。
    8. 在反馈设置页面中,选择您想要使用的反馈方式,例如邮件、短信、站内信等。
    9. 在设置完反馈方式后,点击“保存”按钮,完成数据质量反馈的配置。
    2023-10-22 22:16:02
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多