开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据质量中规则列表中的规则如何关联?

DataWorks数据质量中规则列表中的规则如何关联?调度

展开
收起
真的很搞笑 2023-10-22 21:10:41 39 0
4 条回答
写回答
取消 提交回答
  • 配置数据质量规则https://help.aliyun.com/zh/dataworks/user-guide/rule-configuration/?spm=a2c4g.11186623.0.0.188414f07XYV4M

    数据质量规则生效逻辑说明
    配置规则:按表(单表)
    配置规则:按模板(批量)
    配置数据质量规则去噪
    配置示例:MaxCompute

    image.png

    2023-10-23 14:28:57
    赞同 展开评论 打赏
  • 在阿里云的DataWorks中,数据质量中的规则列表中的规则可以通过以下步骤进行关联调度:

    1. 进入数据质量界面:首先,你需要登录到DataWorks的数据质量界面。

    2. 选择规则列表:在数据质量界面中,你可以选择需要进行调度的规则,然后点击"调度"按钮,选择需要配置的调度参数。

    3. 编辑调度参数:在编辑调度参数的界面中,你可以设置调度参数的取值。这些取值可以是静态的,也可以是动态的,例如,你可以使用${now()}函数来获取当前的时间。

    4. 发布调度:设置好调度参数后,你需要点击"发布"按钮,将调度参数发布到生产环境中。

    5. 测试调度:在发布调度后,你可以点击"测试"按钮,测试调度是否正确。如果测试失败,你需要检查调度参数的设置是否正确。

    6. 查看调度结果:调度成功后,你可以点击"调度日志"按钮,查看调度的结果。如果调度结果不符合预期,你可能需要调整调度参数,然后重新进行调度。

    2023-10-23 11:12:51
    赞同 展开评论 打赏
  • 【数据质量DQC】
    数据质量以数据集(DataSet)为监控对象。目前,数据质量支持EMR(E-MapReduce)、Hologres、AnalyticDB for PostgreSQL、MaxCompute数据表和DataHub实时数据流的监控。当离线数据发生变化时,数据质量会对数据进行校验,并阻塞生产链路,以避免问题数据污染扩散。同时,数据质量支持管理历史校验结果,您可以对数据质量进行分析和定级。
    【DQC配置】

    您可以在“监控规则”中通过匹配表分区表达式,给表添加“模板规则”或“自定义规则”校验数据产出是否符合预期,通过“规则强弱”,“异常程度”决定规则是否阻塞下游任务执行,避免下游数据受到污染。
    规则创建完成后,您可以通过“试跑”来测试表规则是否符合预期。
    规则创建完成后,您需要“关联调度”,为规则关联调度节点后,调度节点执行便会触发数据质量监控规则校验。
    如果您需要第一时间知道数据质量校验异常情况,您可以点击“订阅管理”,选择手机,邮箱,或者钉钉告警,第一时间接受报警信息,之后的规则触发情况,您可以在“我的订阅”中看到。
    如果您需要查看某张表或者某个节点历史数据质量校验情况,您可以选择“任务查询”面板进行查询。,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-23 08:05:42
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks数据质量中,规则列表中的规则是相互关联的。一个数据质量监控任务通常会包含多个监控规则,这些规则之间可能存在关联关系,例如某个规则的结果会影响另一个规则的执行。
    当一个规则的结果为真时,会触发关联规则的执行。例如,如果一个规则检查数据的完整性,如果数据存在缺失值,那么这个规则的结果为真,会触发另一个规则执行,检查数据的准确性。
    在DataWorks中,可以通过配置规则之间的关联关系,实现多个规则的联动执行。例如,可以通过设置规则的触发条件和执行顺序,实现多个规则的顺序执行。同时,也可以通过设置规则的同步和异步执行,实现多个规则的并发执行。
    通过配置规则之间的关联关系,可以实现更灵活和高效的数据质量监控。

    2023-10-22 22:07:43
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多