《云上大型赛事保障白皮书》——第四章 监控告警与应急预案——4.1 云上大型赛事监控告警——4.1.2 北京冬奥监控告警体系介绍(1)

简介: 《云上大型赛事保障白皮书》——第四章 监控告警与应急预案——4.1 云上大型赛事监控告警——4.1.2 北京冬奥监控告警体系介绍(1)

4.1.2 北京冬奥监控告警体系介绍


4.1.2.1 四层监控


在冬奥保障项目中,我们把监控系统自上到下分为四个层次,分别为:IDC监控、云平台层监控、云产品层监控、业务层监控,并且为每层定义了核心的监控项。


4.1.2.1.1 IDC层监控

主要是各针对客户资源所在的IDC层面的监控告警,包含电力、温度、功耗、硬件故障等方面进行监控告警。这是最底层的监控,由阿里云IDC部门(基础设施事业部)负责。

image.png

图:北京冬奥会IDC数字大盘


4.1.2.1.2 云平台层监控

主要是各产品自己维护的底层监控,客户是不可见的。例如XGW流量监控、CDN节点监控等。这是阿里云各产品方自己稳定性建设的一部分。在本次冬奥保障过程中,很多产品方专门为冬奥相关资源定制开发了相关的监控。


4.1.2.1.3 云产品层监控

利用产品云监控,Prometheus,DataV等产品能力,我们针对不同的业务系统涉及到的云资源进行细化和拆分。在云产品层,我们使用的最多的是阿里云云监控这个产品,因为所有其他云产品的底层数据源都会上报至云监控LogStore,这样底层的无缝衔接赋予了云监控强大的产品监控能力,可以方便的在云监控上设置监控阈值告警和事件告警,设置自定义事件等进行消费。

基础资源监控:ECS1CPU利用率、内存利用率、磁盘空间;POD1CPU利用率、内存利用率、磁盘空间;RDS1CPU使用率、内存使用率、IOPS使用率、磁盘空间;Redis CPU使用率、内存使用率;CSG前端读写速率、共享缓存使用率、用户态空间使用率、Trottling状态等。

网络层监控,主要是各网络组件参数:带宽情况、活跃连接数、限速丢包率、专线健康检查丢包率等。

image.png

图:北京冬奥主账号下的监控告警规则


我们还通过云原生的ARMS对冬奥容器集群进行一体化监控,根据不同的命名空间可以基于NS、Pod维度详细查看CPU、内存使用率以及网络带宽等情况。

image.png

图:针对北京冬奥核心系统ACK集群的Prometheus监控


4.1.2.1.4 业务层监控

应用核心指标的监控,参考谷歌提出的四个黄金监控指标,一般可以分为四大类

可用率,服务的请求成功率。

时延,请求的耗时。

错误数,主要包括管控侧以及资源侧。错误数,主要包括管控侧以及资源侧。

流量,主要包括流量指标、流量移动、流量跌零监控。

除了通过现有的的工具比如ARMS、Zabbix、Open-Falcon等等客户可以使用的公有云工具,针对这次重保我们也开发了一些与业务对应的一些业务异常监控,直接推送到我们的告警群。



《云上大型赛事保障白皮书》——第四章 监控告警与应急预案——4.1 云上大型赛事监控告警——4.1.2 北京冬奥监控告警体系介绍(2): https://developer.aliyun.com/article/1226449?groupCode=supportservice

相关文章
|
开发框架 Prometheus 监控
SpringCloud微服务实战——搭建企业级开发框架(四十四):【微服务监控告警实现方式一】使用Actuator + Spring Boot Admin实现简单的微服务监控告警系统
 业务系统正常运行的稳定性十分重要,作为SpringBoot的四大核心之一,Actuator让你时刻探知SpringBoot服务运行状态信息,是保障系统正常运行必不可少的组件。 spring-boot-starter-actuator提供的是一系列HTTP或者JMX监控端点,通过监控端点我们可以获取到系统的运行统计信息,同时,我们可以自己选择开启需要的监控端点,也可以自定义扩展监控端点。 Actuator通过端点对外暴露的监控信息是JSON格式数据,我们需要使用界面来展示,目前使用比较多的就是Spring Boot Admin或者Prometheus + Grafana的方式
1657 57
|
存储 数据采集 运维
《云上大型赛事保障白皮书》——第四章 监控告警与应急预案——4.1 云上大型赛事监控告警——4.1.1 监控告警基本概念
《云上大型赛事保障白皮书》——第四章 监控告警与应急预案——4.1 云上大型赛事监控告警——4.1.1 监控告警基本概念
224 0
|
监控 安全 API
《云上大型赛事保障白皮书》——第四章 监控告警与应急预案——4.1 云上大型赛事监控告警——4.1.2 北京冬奥监控告警体系介绍(2)
《云上大型赛事保障白皮书》——第四章 监控告警与应急预案——4.1 云上大型赛事监控告警——4.1.2 北京冬奥监控告警体系介绍(2)
295 0
|
弹性计算 监控 关系型数据库
《云上大型赛事保障白皮书》——第四章 监控告警与应急预案——4.1 云上大型赛事监控告警——4.1.2 北京冬奥监控告警体系介绍(3)
《云上大型赛事保障白皮书》——第四章 监控告警与应急预案——4.1 云上大型赛事监控告警——4.1.2 北京冬奥监控告警体系介绍(3)
183 0
|
监控
《云上大型赛事保障白皮书》——第四章 监控告警与应急预案——4.2 云上大型赛事应急预案——4.2.2 北京冬奥告警预案
《云上大型赛事保障白皮书》——第四章 监控告警与应急预案——4.2 云上大型赛事应急预案——4.2.2 北京冬奥告警预案
154 0
|
5月前
|
运维 监控 网络协议
物联网设备状态监控全解析:从告警参数到静默管理的深度指南-优雅草卓伊凡
物联网设备状态监控全解析:从告警参数到静默管理的深度指南-优雅草卓伊凡
144 11
物联网设备状态监控全解析:从告警参数到静默管理的深度指南-优雅草卓伊凡
|
4月前
|
编解码 监控 算法
CDN+OSS边缘加速实践:动态压缩+智能路由降低30%视频流量成本(含带宽峰值监控与告警配置)
本方案通过动态压缩、智能路由及CDN与OSS集成优化,实现视频业务带宽成本下降31%,首帧时间缩短50%,错误率降低53%。结合实测数据分析与架构创新,有效解决冷启动延迟、跨区域传输及设备适配性问题,具备快速投入回收能力。
228 0
|
7月前
|
数据采集 运维 监控
数据采集监控与告警:错误重试、日志分析与自动化运维
本文探讨了数据采集技术从“简单采集”到自动化运维的演进。传统方式因反爬策略和网络波动常导致数据丢失,而引入错误重试、日志分析与自动化告警机制可显著提升系统稳定性与时效性。正方强调健全监控体系的重要性,反方则担忧复杂化带来的成本与安全风险。未来,结合AI与大数据技术,数据采集将向智能化、全自动方向发展,实现动态调整与智能识别反爬策略,降低人工干预需求。附带的Python示例展示了如何通过代理IP、重试策略及日志记录实现高效的数据采集程序。
299 7
数据采集监控与告警:错误重试、日志分析与自动化运维
|
11月前
|
Prometheus 运维 监控
智能运维实战:Prometheus与Grafana的监控与告警体系
【10月更文挑战第26天】Prometheus与Grafana是智能运维中的强大组合,前者是开源的系统监控和警报工具,后者是数据可视化平台。Prometheus具备时间序列数据库、多维数据模型、PromQL查询语言等特性,而Grafana支持多数据源、丰富的可视化选项和告警功能。两者结合可实现实时监控、灵活告警和高度定制化的仪表板,广泛应用于服务器、应用和数据库的监控。
980 3
|
7月前
|
Prometheus Kubernetes 监控
Kubernetes监控:Prometheus与AlertManager结合,配置邮件告警。
完成这些步骤之后,您就拥有了一个可以用邮件通知你的Kubernetes监控解决方案了。当然,所有的这些配置都需要相互照应,还要对你的Kubernetes集群状况有深入的了解。希望这份指南能帮助你创建出适合自己场景的监控系统,让你在首次发现问题时就能做出响应。
324 22