EMR HIVE 节点支持 DataWorks 数据质量规则,内置 37 种数据质量规则模板,可以 进行可视化、批量数据质量规则配置,提高数据质量规则配置效率。同时该模块与数据开发调度深度集成,可通过调度触发规则运行,节省计算资源,及时发现问题。
• 支持 37 种内置数据质量模板规则;
• 支持批量配置规则、规则模板;
• 支持绑定调度引擎并在质量报警时阻塞业务流程;
• 支持动态阈值(顶会论文技术,算法自动判定告警阈值);
• 支持 SQL 自定义规则;
• 支持短信、邮件、钉钉告警;
• 支持自定义数据质量报告;
• 支持质量问题处理记录。
同时,数据质量支持强弱规则设置,进行灵活的运维控制。
• 强规则,直接阻塞下游任务运行,防止问题数据污染下游,浪费下游执行的计 算资源;
• 弱规则,只告警,不阻塞任务运行,针对一些非核心任务。
以上内容摘自《大数据&AI实战派 第1期》电子书,点击https://developer.aliyun.com/ebook/download/7722 可下载完整版
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。