数仓质量监控方案

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: 本监控模块涵盖资源、任务和质量三大方面,包括资源利用率、任务状态与运行时间、数据表及字段质量、以及基线监控等,设置详细报警规则,确保系统稳定高效运行。

一、监控模块
1:资源监控
1.独享调度资源组监控&独享数据集成资源组规则
1:资源利用率监控规则
1):利用率大于80%并持续15分钟时,触发报警。
2:等实例资源数
1):资源组等待实例数大于10个并持续30分钟,触发报警。
2:任务监控
1.任务状态运行监控
1)出错:周期调度任务或实时计算任务运行出错,触发报警。
2)重跑出错:周期调度任务出错自动重试三次,重跑出错 触发报警。
3)冻结:周期调度任务实例冻结,触发告警。
4)空跑:周期调度任务实例空跑,触发告警。
2.任务运行时间监控
1)超时:周期调度任务运行时间超90分钟,触发告警。
2)周期未完成:
1:核心天任务,每日6点如未完成,触发报警。
2:小时任务,每小时30分未完成,触发报警。
3:质量监控
注:质量监控,下文为数据层面的监控,业务侧有需求可对具体的字段加对应监控规则。
1:表监控规则
1):表行数为空,表行数为空,触发监控告警。
2):表缺失责任人,触发监控告警。
2:字段监控规则
1):维度字段为空,触发报警。
2):唯一值个数,固定数,示例:枚举值,0:无效,1:有效,99:未确定。 期望值大于3,触发报警。
3):空值个数/总行数,固定值。示例:入仓数据,金额数据大于0.05,触发报警。
4:基线监控规则
1:天基线(任务节点)
1):任务优先级7及以上,承诺时间:每天07:00前完成输出回流。
2:小时基线(任务节点)
1):任务优先级7及以上,承诺时间:每小时20分内完成数据回流;
5:规则
节点孤立:系统内置报警规则,孤立节点产生后会自动报警。
节点成环:系统内置报警规则,生产环境默认开启,无需关闭。

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
6月前
|
SQL 关系型数据库 MySQL
如何在Dataphin中构建Flink+Paimon流式湖仓方案
当前大数据处理工业界非常重要的一个大趋势是一体化,尤其是湖仓一体架构。与过去分散的数据仓库和数据湖不同,湖仓一体架构通过将数据存储和处理融为一体,不仅提升了数据访问速度和处理效率,还简化了数据管理流程,降低了资源成本。企业可以更轻松地实现数据治理和分析,从而快速决策。paimon是国内开源的,也是最年轻的成员。 本文主要演示如何在 Dataphin 产品中构建 Flink+Paimon 的流式湖仓方案。
7894 10
如何在Dataphin中构建Flink+Paimon流式湖仓方案
|
8月前
|
存储 消息中间件 运维
友盟+|如何通过阿里云Flink+Paimon实现流式湖仓落地方案
本文主要分享友盟+ U-App 整体的技术架构,以及在实时和离线计算上面的优化方案。
666 2
友盟+|如何通过阿里云Flink+Paimon实现流式湖仓落地方案
|
8月前
|
SQL 数据采集 分布式计算
Hive 数仓及数仓设计方案
数仓整合企业数据,提供统一出口,用于数据治理。其特点包括面向主题集成和主要支持查询操作。数仓设计涉及需求分析(如咨询老板、运营人员和行业专家)、确定主题指标(如电商的转化率)、数据标准设定、规模与成本计算、技术选型(如Hadoop生态组件)以及数据采集和操作。设计流程涵盖从理解需求到实施SQL函数和存储过程的全过程。
182 3
|
8月前
|
SQL 存储 Apache
Paimon 实践 | 基于 Flink SQL 和 Paimon 构建流式湖仓新方案
Paimon 实践 | 基于 Flink SQL 和 Paimon 构建流式湖仓新方案
2216 59
|
8月前
|
SQL 存储 Apache
基于 Flink SQL 和 Paimon 构建流式湖仓新方案
阿里云智能开源表存储负责人,Founder of Paimon,Flink PMC 成员李劲松在云栖大会开源大数据专场的分享。
1068 0
基于 Flink SQL 和 Paimon 构建流式湖仓新方案
|
存储 SQL 数据挖掘
Paimon+StarRocks 湖仓一体数据分析方案
Paimon+StarRocks 湖仓一体数据分析方案
844 0
|
存储 数据挖掘 Java
Paimon+StarRocks 湖仓一体数据分析方案
阿里云高级开发工程师曾庆栋(曦乐)在 Streaming Lakehouse Meetup 的分享。
531 0
Paimon+StarRocks 湖仓一体数据分析方案
|
存储 消息中间件 分布式计算
湖仓一体方案有很多,为何偶数的实时湖仓脱颖而出?
湖仓一体方案有很多,为何偶数的实时湖仓脱颖而出?
145 0
|
消息中间件 SQL 存储
《Apache Flink 案例集(2022版)》——1.数据集成——37手游-基于 Flink CDC + Hudi 湖仓一体方案实践
《Apache Flink 案例集(2022版)》——1.数据集成——37手游-基于 Flink CDC + Hudi 湖仓一体方案实践
403 0
|
弹性计算 监控 数据挖掘
《阿里云认证的解析与实战-数据仓库ACP认证》——云上数据仓库的架构方案——一、AnalyticDB助力客户行为日志实时分析
《阿里云认证的解析与实战-数据仓库ACP认证》——云上数据仓库的架构方案——一、AnalyticDB助力客户行为日志实时分析