开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据质量中如何判断订阅是否成功?

DataWorks数据质量中如何判断订阅是否成功?

展开
收起
真的很搞笑 2023-11-20 07:51:25 47 0
3 条回答
写回答
取消 提交回答
  • 数据质量风险监控https://help.aliyun.com/zh/dataworks/use-cases/use-data-quality-to-monitor-data-quality?spm=a2c4g.11186623.0.i78

    数据质量风险监控主要针对数据的准确性、一致性和完整性。本教程使用DataWorks数据质量(DQC)功能,完成数仓各层次的数据质量监控。

    前提条件
    首先您需要完成教程搭建互联网在线运营分析平台,并保证您的DataWorks工作空间创建区域为华东2(上海),详情参见业务场景与开发流程。您需要完成数据资产定级,本教程中定义为A2,详情请参见数据资产定级。
    说明
    数据质量风险监控理论规范,请参见数据风险点监控。
    背景信息
    数据质量监控和数据资产等级对应,您可以根据以下因素细化您的监控配置,数据质量的详情请参见概述。
    监控分类:数据量、主键、离散值、汇总值、业务规则和逻辑规则。
    监控粒度:字段级别、表级别。
    监控层次:ODS、CDM、ADS三层数据,其中ODS和DWD层主要偏重数据的完整性和一致性。DWS和ADS层数据量较小、逻辑复杂,偏重数据的准确性。
    https://help.aliyun.com/zh/dataworks/use-cases/use-data-quality-to-monitor-data-quality?spm=a2c4g.11186623.0.i78

    2023-11-20 13:46:23
    赞同 1 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks数据质量中,判断订阅是否成功的标准如下:

    1. 确认订阅的消息是否发送到正确的接收端:您可以查看接收端的应用日志或其他反馈信息,以确认订阅的消息是否正确到达。
    2. 检查订阅的内容是否正确:您可以在接收端上查看订阅的消息内容,确认是否符合预期的格式和内容。
    3. 验证订阅的频率和触发条件:您可以在DataWorks控制台上查看订阅的触发条件和频率,确认是否符合您的期望。
    4. 查看订阅的状态:在DataWorks控制台上,您可以看到订阅的状态,包括正常、暂停、等待等。
    2023-11-20 13:35:36
    赞同 展开评论 打赏
  • 在DataWorks数据质量中,判断订阅是否成功主要依赖于接收到的告警信息。首先,您需要针对重要的表及其规则设置订阅。设置完毕后,系统会根据数据质量的校验结果进行告警,这样您就可以跟踪校验结果。订阅管理可以在数据质量界面找到,点击"订阅管理"后可以配置不同的订阅方式,如短信、邮件或是钉钉。

    另外,试跑功能也十分有用,点击试跑后就可以立即运行刚刚设置的规则,以校验配置是否正确。如果一切配置都正确并且订阅的表数据质量校验出现异常,您将能够及时接收到质量校验异常并处理,保障数据的安全性、稳定性以及按时产出。

    最后,您可以在左侧导航栏中,单击 "我的订阅" 查看和修改已订阅的任务。如果发现有任务由于质量规则校验失败退出,平台会阻止下游节点执行,防止脏数据影响范围进一步扩大。通过这些步骤,您可以确保订阅是否设置成功并进行必要的调整。

    2023-11-20 09:03:15
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多