要按表配置监控规则,数据质量支持配置EMR(E-MapReduce)、Hologres、AnalyticDB for PostgreSQL、MaxCompute和DataHub数据源的监控规则。EMR、Hologres、analyticDB for PostgreSQL、CDH在进行数据质量规则配置前,需要先进行元数据采集。自动落标规则暂不支持使用。 EMR、Hologres、analyticDB for PostgreSQL、CDH配置表数据质量规则后,产出表数据的调度节点需要使用网络已连通的独享调度资源组进行调度,才可正常触发数据质量规则校验。 详见网页链接:https://help.aliyun.com/document_detail/73829.html?share_token=545406e5-bc8b-4ee7-8c37-dbc3a9274182 内置模板规则,数据质量为您提供内置表级别、字段级别的监控模板,数据质量的校检逻辑及内置模板规则介绍详见下面网页链接: https://help.aliyun.com/document_detail/159177.html?share_token=9ca6f9a3-9dcb-46e3-a747-cd16b161badf 在运维中心中,DataWorks提供了离线和实时任务的丰富运维操作,DataWorks提供的数据质量模块能够良好地满足对数据产出的正确性、完整性的验证要求。在前面数据质量模块的介绍部分对于其功能已经有非常详细的介绍,这里强调两个关键点:第一,DataWorks支持配置动态阈值规则和规则的自动推荐,这也是引入了AI和算法价值的特色功能;第二,质量的监控与任务的调度是强挂钩的,可以设计一种强报警规则来阻塞任务的调度运行,如果出现质量问题,就让这个调度暂停下来,然后发送报警给节点Owner来及时处置,这样可以防止质量问题的大范围扩散。
元数据管理方面,DataWorks数据地图中支持了对MaxCompute、E-MapReduce、MC-Hologres、ADB、RDS等云上13种最常用数据存储的元数据采集,并基于这个基础构建出了异构数据血缘大图。在数据安全方面,DataWorks提供了最新的数据泄露溯源功能和基于区块链的数据流转安全产品。在运维监控方面新增了移动运维的能力,即用户可以在手机上灵活处理告警,能极大节省夜间运维的时间,同时还新提供了电话告警的能力。
这里需要你首先确认一下你购买的DataWorks版本是否支持动态阈值规则配置,具体版本详细可以参考文档:https://help.aliyun.com/document_detail/118789.html,如果你购买的DataWorks版本支持动态阈值规则配置,那么你就可以找到【数据治理】模块的【数据质量】参考按表配置监控规则里面根据需要配置动态阈值监控规则https://help.aliyun.com/document_detail/73829.html,而具体动态阈值规则的触发是根据你设置的条件进行比较判断,当满足条件时就会触发动态阈值判断,比如参数 另外有问题的话欢迎一起探寻
您可以在规则管理界面管理全局规则,同时,还支持您根据业务需求自定义监控规则。 - 全局规则:系统内置全局报警规则(非空间级别报警规则)对周期任务的状态进行监控,避免周期任务异常导致周期实例无法正常调度执行,详情请参见:周期任务状态监控。 - 自定义监控规则: 1. 周期任务周期性调度时将产生周期实例,DataWorks支持通过周期任务配置自定义监控规则,实现对周期实例运行状态的监控。 2. 支持您创建自定义规则并指定规则对象为实时计算任务,实现对实时计算任务运行状态的监控。 3. 支持您创建自定义规则并制定对象类型为独享数据集成资源组或独享调度资源组,实现对独享资源组使用情况的监控。 详细参见连接
这个都是根据个人设置的,有相应的规则定义,建议你好好看下官方的文档:https://help.aliyun.com/document_detail/73829.html
动态阈值的算法参考样本量 是指表内本身有15天的数据 那现在配置动态阈值 也可以立刻生效 如果表内没有15天的数据量 那真实生效是在15天后,后期估计会有调整
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。