分布式统一监控系统架构图与设计思路| 学习笔记

简介: 快速学习分布式统一监控系统架构图与设计思路。

开发者学堂课程【企业运维监控平台架构设计与实现分布式统一监控系统架构图与设计思路】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/384/detail/4826


分布式统一监控系统架构图与设计思路

 

目录:

一、问题解答

二、分布式统一系统

三、统一监控系统架构图

四、设计思路


一、问题解答

1.Ganglia与zbase进行对比?

1)、它们的机制上区别不大.

2)、监控的服务器应用不多就使用 zbase ,部署来说相对简单,当服务器多,zbase 扩展比较麻烦,性能较低。

3)、如果服务器低于一千台可以选择使用 zbase ,若服务器超过一千台,推荐使用 centreon+ganglia ,他的扩展性高,但是部署步骤很麻烦。

2.两万八千台服务器使用zbase性能如何?

通过测试一千台服务器会报警,报警有延时,并且延时非常大,且负载很高,对一个监控来说,报警的实时性要求很高,若延时很高就失去了报警的意义

3.ganglia的好处

Ganglia 的好处在于前端更新能在10秒之内把更新返回到服务器,可以及时处理问题,处理问题的时间间隔非常短,若服务器很多,可以通过多种方式,不一定要采用那个软件,若一个机制非常成熟的话,他会集成多个开源软件。

4.ganglia数据汇总

Ganglia 天生可以实现数据汇总

image.png

图示指标不需要添加任何东西,但在 zbase 中需要添加第三方工具来实现。所以说每个软件都有它的优缺点。具体怎么去选择使用,还是要综合的去选择。去用它的优点然后屏蔽它的缺点就可以了。

5.关于报警

原来我们是有短信网关,或者是报警接口,但是事实上来说,短信报警对运维人员意义不大,移动端的发展可以使用网易邮箱实时,可以看到更加详细的信息,完全可以抛弃短信报警,当然,确实想用短信报警也没问题,支持多个手机运营商,注册好会发邮件,139发的邮件多会有延迟,但一封两封不会有延迟。变相实现短信报警非常方便。

6.预发布环境和真实环境的差距?

预发布环境和真实环境没有实质性差别,而预发布环境没有线上业务,部署结构上和真实环境一模一样的


二、分布式统一系统

监控数据和报表通过 web 方式展示出来,将 Nagios 和 Ganglia 的 web 进行集合,并作二次开发,通过一个统一的界面展示监控状态和报表信息

 

三、统一监控系统架构图

image.png


四、设计思路

1.Cluster1-n 均为一个分布式集群,也可以认为是一个机房数据中心。每个数据中心的 node server 都运行一个 gmond 守护进程,进行数据收集,将收集到的数据汇总到 ganglia proxy 主机,ganglia proxy 主机上运行着 gmetad 守护进程。

同时 ganglia proxy 和 node server 都加载通过 c 或者 python 编写的 ganglia 插件,扩展 ganglia 监控功能(Python 编译升级方式:用源码方法升级)

2.managerserver 是一个管理主机,主要用于收集从各个机房数据中心的监控数据,通过数据抽取模块将 nagios 和 ganglia 整合到一起,考虑到数据的安全性,manager server 建议做一个备机,主机和备机一起工作时,进行数据收集,主机故障时,自动切换到备机,保证管理主机可用

3.监控数据和报表通过 web 方式展示出来,将 Nagios 和 Ganglia 的 web 进行整合,并做二次开发,通过一个统一的界面展示监控状态和报表信息

优缺点:

服务器如果1000台以内就采用 zbase,超过1000台报警就会有延迟

Ganglia 系统可以自动实现数据汇总

相关文章
|
2月前
|
消息中间件 分布式计算 中间件
秀出天际!阿里甩出的988页分布式微服务架构进阶神仙手册我粉了
秀出天际!阿里甩出的988页分布式微服务架构进阶神仙手册我粉了
|
13天前
|
存储 分布式计算 Hadoop
Hadoop是一个强大的分布式系统基础架构
【6月更文挑战第17天】Hadoop是一个强大的分布式系统基础架构
111 53
|
5天前
|
消息中间件 传感器 Cloud Native
事件驱动作为分布式异步服务架构
【6月更文挑战第25天】本文介绍事件驱动架构(EDA)是异步分布式设计的关键模式,适用于高扩展性需求。EDA提升服务韧性,支持CQRS、数据通知、开放式接口和事件流处理。然而,其脆弱性包括组件控制、数据交换、逻辑关系复杂性、潜在死循环和高并发挑战。EDA在云原生环境,如Serverless,中尤其适用。
30 2
事件驱动作为分布式异步服务架构
|
1天前
|
缓存 运维 负载均衡
分布式系统架构设计与挑战
【6月更文挑战第29天】分布式系统架构设计涉及组件化、通信、数据一致性、负载均衡和容错处理,旨在实现高可用性和可扩展性。然而,数据一致性、性能、可伸缩性和容错是主要挑战。解决方案包括使用一致性算法、性能优化、设计可伸缩架构和实施容错机制。随着技术进步,这类系统将继续在云、大数据和物联网中扮演关键角色。
|
8天前
|
传感器 边缘计算 监控
边缘云作为一种分布式云计算架构,正在为多个行业和应用场景带来革命性的变化
边缘云应用于智能城市、工业物联网、零售、农业、AI、5G优化、制造、物流、医疗、交通和家居等领域,实现低延迟的数据处理、实时分析与优化。例如,智能交通利用边缘计算优化信号灯,减少拥堵;工业场景中,设备监控与预测性维护提升效率;在医疗中,实时监测患者数据支持远程诊断。此外,边缘云还助力零售业的个性化推荐、农业的精准作业和云游戏的高性能体验。
|
10天前
|
人工智能 NoSQL 关系型数据库
主从模式(Master-Slave Architecture)在传统的计算机科学中指的是一种分布式系统架构
主从模式(Master-Slave Architecture)在传统的计算机科学中指的是一种分布式系统架构
25 5
|
9天前
|
分布式计算 资源调度 Hadoop
分布式系统详解--架构(Hadoop-克隆服务器)
分布式系统详解--架构(Hadoop-克隆服务器)
19 1
|
2天前
|
网络协议 安全 分布式数据库
技术分享:分布式数据库DNS服务器的架构思路
技术分享:分布式数据库DNS服务器的架构思路
7 0
|
4天前
|
分布式计算 资源调度 监控
分布式资源管理和调度架构
分布式资源管理和调度架构
|
2月前
|
Java 持续交付 API
Java的分布式系统与微服务架构
Java的分布式系统与微服务架构