分布式统一监控系统架构图与设计思路| 学习笔记

简介: 快速学习分布式统一监控系统架构图与设计思路。

开发者学堂课程【企业运维监控平台架构设计与实现分布式统一监控系统架构图与设计思路】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/384/detail/4826


分布式统一监控系统架构图与设计思路

 

目录:

一、问题解答

二、分布式统一系统

三、统一监控系统架构图

四、设计思路


一、问题解答

1.Ganglia与zbase进行对比?

1)、它们的机制上区别不大.

2)、监控的服务器应用不多就使用 zbase ,部署来说相对简单,当服务器多,zbase 扩展比较麻烦,性能较低。

3)、如果服务器低于一千台可以选择使用 zbase ,若服务器超过一千台,推荐使用 centreon+ganglia ,他的扩展性高,但是部署步骤很麻烦。

2.两万八千台服务器使用zbase性能如何?

通过测试一千台服务器会报警,报警有延时,并且延时非常大,且负载很高,对一个监控来说,报警的实时性要求很高,若延时很高就失去了报警的意义

3.ganglia的好处

Ganglia 的好处在于前端更新能在10秒之内把更新返回到服务器,可以及时处理问题,处理问题的时间间隔非常短,若服务器很多,可以通过多种方式,不一定要采用那个软件,若一个机制非常成熟的话,他会集成多个开源软件。

4.ganglia数据汇总

Ganglia 天生可以实现数据汇总

image.png

图示指标不需要添加任何东西,但在 zbase 中需要添加第三方工具来实现。所以说每个软件都有它的优缺点。具体怎么去选择使用,还是要综合的去选择。去用它的优点然后屏蔽它的缺点就可以了。

5.关于报警

原来我们是有短信网关,或者是报警接口,但是事实上来说,短信报警对运维人员意义不大,移动端的发展可以使用网易邮箱实时,可以看到更加详细的信息,完全可以抛弃短信报警,当然,确实想用短信报警也没问题,支持多个手机运营商,注册好会发邮件,139发的邮件多会有延迟,但一封两封不会有延迟。变相实现短信报警非常方便。

6.预发布环境和真实环境的差距?

预发布环境和真实环境没有实质性差别,而预发布环境没有线上业务,部署结构上和真实环境一模一样的


二、分布式统一系统

监控数据和报表通过 web 方式展示出来,将 Nagios 和 Ganglia 的 web 进行集合,并作二次开发,通过一个统一的界面展示监控状态和报表信息

 

三、统一监控系统架构图

image.png


四、设计思路

1.Cluster1-n 均为一个分布式集群,也可以认为是一个机房数据中心。每个数据中心的 node server 都运行一个 gmond 守护进程,进行数据收集,将收集到的数据汇总到 ganglia proxy 主机,ganglia proxy 主机上运行着 gmetad 守护进程。

同时 ganglia proxy 和 node server 都加载通过 c 或者 python 编写的 ganglia 插件,扩展 ganglia 监控功能(Python 编译升级方式:用源码方法升级)

2.managerserver 是一个管理主机,主要用于收集从各个机房数据中心的监控数据,通过数据抽取模块将 nagios 和 ganglia 整合到一起,考虑到数据的安全性,manager server 建议做一个备机,主机和备机一起工作时,进行数据收集,主机故障时,自动切换到备机,保证管理主机可用

3.监控数据和报表通过 web 方式展示出来,将 Nagios 和 Ganglia 的 web 进行整合,并做二次开发,通过一个统一的界面展示监控状态和报表信息

优缺点:

服务器如果1000台以内就采用 zbase,超过1000台报警就会有延迟

Ganglia 系统可以自动实现数据汇总

相关文章
|
3天前
|
自然语言处理 JavaScript Java
《鸿蒙HarmonyOS应用开发从入门到精通(第2版)》学习笔记——HarmonyOS架构介绍
HarmonyOS采用分层架构设计,从下至上分为内核层、系统服务层、框架层和应用层。内核层支持多内核设计与硬件驱动;系统服务层提供核心能力和服务;框架层支持多语言开发;应用层包括系统及第三方应用,支持跨设备调度,确保一致的用户体验。
115 81
|
2天前
|
存储 Prometheus Cloud Native
分布式系统架构6:链路追踪
本文深入探讨了分布式系统中的链路追踪理论,涵盖追踪与跨度的概念、追踪系统的模块划分及数据收集的三种方式。链路追踪旨在解决复杂分布式系统中请求流转路径不清晰的问题,帮助快速定位故障和性能瓶颈。文中介绍了基于日志、服务探针和边车代理的数据收集方法,并简述了OpenTracing、OpenCensus和OpenTelemetry等链路追踪协议的发展历程及其特点。通过理解这些概念,可以更好地掌握开源链路追踪框架的使用。
54 41
|
4月前
|
安全 应用服务中间件 API
微服务分布式系统架构之zookeeper与dubbo-2
微服务分布式系统架构之zookeeper与dubbo-2
|
4月前
|
负载均衡 Java 应用服务中间件
微服务分布式系统架构之zookeeper与dubbor-1
微服务分布式系统架构之zookeeper与dubbor-1
|
4月前
|
存储 JSON 数据库
Elasticsearch 分布式架构解析
【9月更文第2天】Elasticsearch 是一个分布式的搜索和分析引擎,以其高可扩展性和实时性著称。它基于 Lucene 开发,但提供了更高级别的抽象,使得开发者能够轻松地构建复杂的搜索应用。本文将深入探讨 Elasticsearch 的分布式存储和检索机制,解释其背后的原理及其优势。
298 5
|
12天前
|
设计模式 存储 算法
分布式系统架构5:限流设计模式
本文是小卷关于分布式系统架构学习的第5篇,重点介绍限流器及4种常见的限流设计模式:流量计数器、滑动窗口、漏桶和令牌桶。限流旨在保护系统免受超额流量冲击,确保资源合理分配。流量计数器简单但存在边界问题;滑动窗口更精细地控制流量;漏桶平滑流量但配置复杂;令牌桶允许突发流量。此外,还简要介绍了分布式限流的概念及实现方式,强调了限流的代价与收益权衡。
57 11
|
14天前
|
设计模式 监控 Java
分布式系统架构4:容错设计模式
这是小卷对分布式系统架构学习的第4篇文章,重点介绍了三种常见的容错设计模式:断路器模式、舱壁隔离模式和重试模式。断路器模式防止服务故障蔓延,舱壁隔离模式通过资源隔离避免全局影响,重试模式提升短期故障下的调用成功率。文章还对比了这些模式的优缺点及适用场景,并解释了服务熔断与服务降级的区别。尽管技术文章阅读量不高,但小卷坚持每日更新以促进个人成长。
43 11
|
16天前
|
消息中间件 存储 安全
分布式系统架构3:服务容错
分布式系统因其复杂性,故障几乎是必然的。那么如何让系统在不可避免的故障中依然保持稳定?本文详细介绍了分布式架构中7种核心的服务容错策略,包括故障转移、快速失败、安全失败等,以及它们在实际业务场景中的应用。无论是支付场景的快速失败,还是日志采集的安全失败,每种策略都有自己的适用领域和优缺点。此外,文章还为技术面试提供了解题思路,助你在关键时刻脱颖而出。掌握这些策略,不仅能提升系统健壮性,还能让你的技术栈更上一层楼!快来深入学习,走向架构师之路吧!
51 11
|
18天前
|
自然语言处理 负载均衡 Kubernetes
分布式系统架构2:服务发现
服务发现是分布式系统中服务实例动态注册和发现机制,确保服务间通信。主要由注册中心和服务消费者组成,支持客户端和服务端两种发现模式。注册中心需具备高可用性,常用框架有Eureka、Zookeeper、Consul等。服务注册方式包括主动注册和被动注册,核心流程涵盖服务注册、心跳检测、服务发现、服务调用和注销。
52 12
|
30天前
|
消息中间件 架构师 数据库
本地消息表事务:10Wqps 高并发分布式事务的 终极方案,大厂架构师的 必备方案
45岁资深架构师尼恩分享了一篇关于分布式事务的文章,详细解析了如何在10Wqps高并发场景下实现分布式事务。文章从传统单体架构到微服务架构下分布式事务的需求背景出发,介绍了Seata这一开源分布式事务解决方案及其AT和TCC两种模式。随后,文章深入探讨了经典ebay本地消息表方案,以及如何使用RocketMQ消息队列替代数据库表来提高性能和可靠性。尼恩还分享了如何结合延迟消息进行事务数据的定时对账,确保最终一致性。最后,尼恩强调了高端面试中需要准备“高大上”的答案,并提供了多个技术领域的深度学习资料,帮助读者提升技术水平,顺利通过面试。
本地消息表事务:10Wqps 高并发分布式事务的 终极方案,大厂架构师的 必备方案

热门文章

最新文章