开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks动态阈值监控规则是15天才能触发嘛?

dataworks动态阈值监控规则是15天才能触发嘛?

展开
收起
刮胡子的23号 2022-09-05 18:32:23 1496 0
5 条回答
写回答
取消 提交回答
  • 十年摸盘键,代码未曾试。 今日码示君,谁有上云事。

    要按表配置监控规则,数据质量支持配置EMR(E-MapReduce)、Hologres、AnalyticDB for PostgreSQL、MaxCompute和DataHub数据源的监控规则。EMR、Hologres、analyticDB for PostgreSQL、CDH在进行数据质量规则配置前,需要先进行元数据采集。自动落标规则暂不支持使用。 EMR、Hologres、analyticDB for PostgreSQL、CDH配置表数据质量规则后,产出表数据的调度节点需要使用网络已连通的独享调度资源组进行调度,才可正常触发数据质量规则校验。 详见网页链接:https://help.aliyun.com/document_detail/73829.html?share_token=545406e5-bc8b-4ee7-8c37-dbc3a9274182 内置模板规则,数据质量为您提供内置表级别、字段级别的监控模板,数据质量的校检逻辑及内置模板规则介绍详见下面网页链接: https://help.aliyun.com/document_detail/159177.html?share_token=9ca6f9a3-9dcb-46e3-a747-cd16b161badf 在运维中心中,DataWorks提供了离线和实时任务的丰富运维操作,DataWorks提供的数据质量模块能够良好地满足对数据产出的正确性、完整性的验证要求。在前面数据质量模块的介绍部分对于其功能已经有非常详细的介绍,这里强调两个关键点:第一,DataWorks支持配置动态阈值规则和规则的自动推荐,这也是引入了AI和算法价值的特色功能;第二,质量的监控与任务的调度是强挂钩的,可以设计一种强报警规则来阻塞任务的调度运行,如果出现质量问题,就让这个调度暂停下来,然后发送报警给节点Owner来及时处置,这样可以防止质量问题的大范围扩散。

    元数据管理方面,DataWorks数据地图中支持了对MaxCompute、E-MapReduce、MC-Hologres、ADB、RDS等云上13种最常用数据存储的元数据采集,并基于这个基础构建出了异构数据血缘大图。在数据安全方面,DataWorks提供了最新的数据泄露溯源功能和基于区块链的数据流转安全产品。在运维监控方面新增了移动运维的能力,即用户可以在手机上灵活处理告警,能极大节省夜间运维的时间,同时还新提供了电话告警的能力。

    2022-11-26 16:25:27
    赞同 展开评论 打赏
  • 从事java行业9年至今,热爱技术,热爱以博文记录日常工作,csdn博主,座右铭是:让技术不再枯燥,让每一位技术人爱上技术

    这里需要你首先确认一下你购买的DataWorks版本是否支持动态阈值规则配置,具体版本详细可以参考文档:https://help.aliyun.com/document_detail/118789.html,如果你购买的DataWorks版本支持动态阈值规则配置,那么你就可以找到【数据治理】模块的【数据质量】参考按表配置监控规则里面根据需要配置动态阈值监控规则https://help.aliyun.com/document_detail/73829.html,而具体动态阈值规则的触发是根据你设置的条件进行比较判断,当满足条件时就会触发动态阈值判断,比如参数 image.png 另外有问题的话欢迎一起探寻

    2022-11-25 21:51:51
    赞同 展开评论 打赏
  • 您可以在规则管理界面管理全局规则,同时,还支持您根据业务需求自定义监控规则。 - 全局规则:系统内置全局报警规则(非空间级别报警规则)对周期任务的状态进行监控,避免周期任务异常导致周期实例无法正常调度执行,详情请参见:周期任务状态监控。 - 自定义监控规则: 1. 周期任务周期性调度时将产生周期实例,DataWorks支持通过周期任务配置自定义监控规则,实现对周期实例运行状态的监控。 2. 支持您创建自定义规则并指定规则对象为实时计算任务,实现对实时计算任务运行状态的监控。 3. 支持您创建自定义规则并制定对象类型为独享数据集成资源组或独享调度资源组,实现对独享资源组使用情况的监控。 详细参见连接

    2022-11-25 07:56:31
    赞同 展开评论 打赏
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    这个都是根据个人设置的,有相应的规则定义,建议你好好看下官方的文档:https://help.aliyun.com/document_detail/73829.html

    2022-11-24 14:58:41
    赞同 展开评论 打赏
  • 天下风云出我辈,一入江湖岁月催,皇图霸业谈笑中,不胜人生一场醉。

    动态阈值的算法参考样本量 是指表内本身有15天的数据 那现在配置动态阈值 也可以立刻生效 如果表内没有15天的数据量 那真实生效是在15天后,后期估计会有调整

    2022-11-23 15:43:22
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载