开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

在主动数据治理中,数据质量如何实现?

已解决

在主动数据治理中,数据质量如何实现?

展开
收起
游客lmkkns5ck6auu 2022-08-29 21:58:22 371 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    EMR HIVE 节点支持 DataWorks 数据质量规则,内置 37 种数据质量规则模板,可以 进行可视化、批量数据质量规则配置,提高数据质量规则配置效率。同时该模块与数据开发调度深度集成,可通过调度触发规则运行,节省计算资源,及时发现问题。

    • 支持 37 种内置数据质量模板规则;

    • 支持批量配置规则、规则模板;

    • 支持绑定调度引擎并在质量报警时阻塞业务流程;

    • 支持动态阈值(顶会论文技术,算法自动判定告警阈值);

    • 支持 SQL 自定义规则;

    • 支持短信、邮件、钉钉告警;

    • 支持自定义数据质量报告;

    • 支持质量问题处理记录。

    同时,数据质量支持强弱规则设置,进行灵活的运维控制。

    • 强规则,直接阻塞下游任务运行,防止问题数据污染下游,浪费下游执行的计 算资源;

    • 弱规则,只告警,不阻塞任务运行,针对一些非核心任务。

    以上内容摘自《大数据&AI实战派 第1期》电子书,点击https://developer.aliyun.com/ebook/download/7722 可下载完整版

    2022-08-30 12:59:09
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关电子书

更多
全链路数据治理-主动数据治理 立即下载
数据生产智能—元数据驱动的全链路数据治理最佳实践 立即下载
基于资产配置业务场景下全链路监控平台 立即下载