【运维知识进阶篇】Zabbix5.0稳定版详解9(Zabbix优化:高并发对MySQL进行拆分、Zabbix-agent主动上报模式、使用proxy代理模式、系统自带监控项优化、进程优化、缓存优化)

本文涉及的产品
RDS AI 助手,专业版
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
简介: 【运维知识进阶篇】Zabbix5.0稳定版详解9(Zabbix优化:高并发对MySQL进行拆分、Zabbix-agent主动上报模式、使用proxy代理模式、系统自带监控项优化、进程优化、缓存优化)

Zabbix在使用的过程中有很多优化的点,可以提高系统性能和使用效率,包括高并发需要对MySQL进行拆分、Zabbix-agent被动上传修改为主动上报模式、服务器的地区较多的情况尽量使用proxy代理模式、系统自带监控项优化、进程优化、缓存优化。

一、高并发需要对MySQL进行拆分

在高并发环境下,单个MySQL实例可能无法处理大量的查询请求。因此,可以考虑将Zabbix数据库进行拆分,以减轻负载。可以通过多个MySQL实例,每个实例负责不同的数据表或区域,从而实现数据库的拆分。

1. 1、分析当前的负载情况,确定是否需要拆分MySQL数据库。
2. 2、准备多个MySQL实例,并为每个实例创建相应的数据库。
3. 3、将Zabbix的数据表根据一定的规则拆分到各个MySQL实例中。可以根据功能模块、地理区域等进行拆分。
4. 4、修改Zabbix服务器和代理的配置文件,使其连接相应的MySQL实例。

二、Zabbix-agent被动上传修改为主动上报模式

默认情况下,Zabbix-agent使用被动上传模式,即等待服务器向其请求数据。但在高负载环境中,被动上传模式可能产生较高的系统负载。所以,将被动上传模式修改为主动上报模式可能会更好,即Zabbix-agent主动将数据发送给Zabbix服务器。

1. 1、修改Zabbix-agent的配置文件,在其中启用主动上报模式。
2. 2、在Zabbix服务器上添加主动监控项,用于接收来自Zabbix-agent的数据。
3. 3、配置主动监控项的触发器和动作,以便在满足特定条件时触发通知。

详细可以参考这篇文章: 【运维知识进阶篇】zabbix5.0稳定版详解6(zabbix自动化监控:自动发现+自动注册+监控项目主动式)_我是koten的博客-CSDN博客

三、服务器的地区较多的情况尽量使用proxy代理模式

当Zabbix服务器和被监控的主机地理位置较远时,网络延迟可能较高,影响数据采集的效率。在这种情况下,可以配置Zabbix Proxy代理来充当中间节点,将代理放置在被监控的主机附近,以减少网络延迟和带宽消耗。

1. 1、在需要进行代理的地区部署Zabbix Proxy代理服务器。
2. 2、配置Zabbix Proxy代理的相关参数,包括连接Zabbix服务器的地址、端口以及需要代理的主机。
3. 3、在被监控的主机上修改Zabbix-agent的配置文件,将其连接到相应的Zabbix Proxy代理服务器。

详细可以参考这篇文章:【运维知识进阶篇】zabbix5.0稳定版详解7(zabbix分布式监控:使用场景+功能详解+快速部署+基本使用)_我是koten的博客-CSDN博客

四、系统自带监控项优化

Zabbix提供了一些系统自带的监控项,但并非每个监控项都适用于所有情况。因此,可以根据实际需求,选择性地启用、禁用或调整这些自带的监控项,以减少不必要的开销。

1. 1、在Zabbix前端界面上,禁用不需要的系统自带监控项。
2. 2、根据需求,自定义监控项,以更准确地监控系统的关键指标。
3. 3、避免在单个主机上同时启用大量监控项,可以分散监控项的负载到多个主机。

详细可以参考这篇文章:

【运维知识进阶篇】zabbix5.0稳定版详解4(用脚本自定义监控项+监控MySQL状态信息)_我是koten的博客-CSDN博客

五、进程优化

对于Zabbix相关的进程,如Zabbix-server、Zabbix-agent等,可以根据系统的实际情况进行调优。例如,可以调整进程的启动参数、最大文件描述符数、线程数等,以提高性能和稳定性。

由于zabbix版本不同,可能有的配置项配置文件没有,自行调整即可。

1. 1. 调整Zabbix-server和Zabbix-agent的启动参数:
2.  - 打开Zabbix-server配置文件(一般为zabbix_server.conf):vim /etc/zabbix/zabbix_server.conf`
3.  - 修改Zabbix-server的启动参数,如调整内存限制为8GB:
4.     ```
5.     StartVMwarePerfFrequency=60
6.     StartJavaGateway=0
7.     JavaGateway=127.0.0.1
8.     JavaGatewayPort=10052
9.     StartHTTPPollers=5
10.     StartPreprocessors=10
11.     StartPollers=100
12.     StartPingers=10
13.     StartDiscoverers=15
14.     ```
15.  - 打开Zabbix-agent配置文件(一般为zabbix_agentd.conf):vim /etc/zabbix/zabbix_agentd.conf
16.  - 修改Zabbix-agent的启动参数,如调整内存限制为2GB:
17.     ```
18.     StartAgents=10
19.     ```
20. 2. 配置操作系统的最大文件描述符数:
21.  - 打开limits.conf文件:vim /etc/security/limits.conf
22.  - 添加以下行以提高文件描述符限制,如每个进程最大打开文件数为65536:
23.     ```
24.     * soft nofile 65536
25.     * hard nofile 65536
26.     ```
27.  - 打开sysctl.conf文件:vim /etc/sysctl.conf
28.  - 添加以下行以提高系统的可打开文件数:
29.     ```
30.     fs.file-max = 200000
31.     ```

六、缓存优化

Zabbix在数据查询和处理过程中使用了内部缓存,以提高性能。通过适当调整缓存大小、缓存时间等参数,可以优化系统的性能;还可以使用外部缓存服务器,如Memcached或Redis,来存储和提供缓存数据,提高响应速度和减轻数据库负载;针对频繁查询的数据,如历史数据和趋势数据等,可以使用缓存策略,减轻数据库负载。

由于zabbix版本不同,可能有的配置项配置文件没有,自行调整即可。

1. 1. 修改Zabbix-server的缓存参数:
2.  - 打开Zabbix-server配置文件:vi /etc/zabbix/zabbix_server.conf
3.  - 修改缓存配置,如增加缓存大小限制和缓存数量,即将以下参数修改为合适的值:
4.     ```
5.     CacheSize=512M
6.     CacheUpdateFrequency=30
7.     StartPollersUnreachable=5
8.     ```
9. 2. 配置使用外部缓存服务器(如Memcached或Redis):
10.  - 根据具体情况,安装并配置Memcached或Redis服务器。(这里以Memcached为例)
11.  - 修改Zabbix-server和Zabbix-agent的配置文件,使其与Memcached服务器进行连接。
12.  - 在Zabbix-server配置文件中添加以下行:
13.       ```
14.       CacheType=CACHE_MEMCACHED
15.       CacheSize=512M
16.       CacheUpdateFrequency=30
17.       StartPollersUnreachable=5
18.       MemcachedCacheSize=256M
19.       MemcachedTimeout=10s
20.       MemcachedLocation=127.0.0.1:11211
21.       ```
22.  - 在Zabbix-agent配置文件中添加以下行:
23.       ```
24.       CachedItemMax=1000
25.       CachedItemSize=128K
26.       ```
27. 3. 重启Zabbix-server和Zabbix-agent服务,使配置生效:
28.  - 重启Zabbix-server服务:systemctl restart zabbix-server
29.  - 重启Zabbix-agent服务:systemctl restart zabbix-agent

我是koten,10年运维经验,持续分享运维干货,感谢大家的阅读和关注!

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
4月前
|
机器学习/深度学习 人工智能 运维
运维不只是“修电脑”:聊聊运维如何助力 AI 优化服务质量
运维不只是“修电脑”:聊聊运维如何助力 AI 优化服务质量
333 9
|
7月前
|
人工智能 运维 关系型数据库
数据库运维:mysql 数据库迁移方法-mysqldump
本文介绍了MySQL数据库迁移的方法与技巧,重点探讨了数据量大小对迁移方式的影响。对于10GB以下的小型数据库,推荐使用mysqldump进行逻辑导出和source导入;10GB以上可考虑mydumper与myloader工具;100GB以上则建议物理迁移。文中还提供了统计数据库及表空间大小的SQL语句,并讲解了如何使用mysqldump导出存储过程、函数和数据结构。通过结合实际应用场景选择合适的工具与方法,可实现高效的数据迁移。
1315 1
|
3月前
|
运维 Prometheus 监控
别再“亡羊补牢”了!——聊聊如何优化企业的IT运维监控架构
别再“亡羊补牢”了!——聊聊如何优化企业的IT运维监控架构
176 8
|
4月前
|
存储 运维 监控
云存储账单太吓人?教你几招运维优化省钱大法
云存储账单太吓人?教你几招运维优化省钱大法
279 9
|
9月前
|
消息中间件 存储 NoSQL
RocketMQ实战—6.生产优化及运维方案
本文围绕RocketMQ集群的使用与优化,详细探讨了六个关键问题。首先,介绍了如何通过ACL配置实现RocketMQ集群的权限控制,防止不同团队间误用Topic。其次,讲解了消息轨迹功能的开启与追踪流程,帮助定位和排查问题。接着,分析了百万消息积压的处理方法,包括直接丢弃、扩容消费者或通过新Topic间接扩容等策略。此外,提出了针对RocketMQ集群崩溃的金融级高可用方案,确保消息不丢失。同时,讨论了为RocketMQ增加限流功能的重要性及实现方式,以提升系统稳定性。最后,分享了从Kafka迁移到RocketMQ的双写双读方案,确保数据一致性与平稳过渡。
|
4月前
|
运维 Linux 网络安全
自动化真能省钱?聊聊运维自动化如何帮企业优化IT成本
自动化真能省钱?聊聊运维自动化如何帮企业优化IT成本
165 4
|
4月前
|
机器学习/深度学习 运维 数据挖掘
运维告警不是“玄学”:聊聊怎么用机器学习优化事件关联分析
运维告警不是“玄学”:聊聊怎么用机器学习优化事件关联分析
227 3
|
5月前
|
运维 监控 Kubernetes
高并发来了,运维别慌:如何优化运维流程,才能稳住阵脚?
高并发来了,运维别慌:如何优化运维流程,才能稳住阵脚?
187 4
|
5月前
|
缓存 监控 Linux
Linux系统清理缓存(buff/cache)的有效方法。
总结而言,在大多数情形下你不必担心Linux中buffer与cache占用过多内存在影响到其他程序运行;因为当程序请求更多内存在没有足够可用资源时,Linux会自行调整其占有量。只有当你明确知道当前环境与需求并希望立即回收这部分资源给即将运行重负载任务之前才考虑上述方法去主动干预。
1788 10
|
6月前
|
存储 缓存 监控
手动清除Ubuntu系统中的内存缓存的步骤
此外,只有系统管理员或具有适当权限的用户才能执行这些命令,因为这涉及到系统级的操作。普通用户尝试执行这些操作会因权限不足而失败。
1222 22

热门文章

最新文章

推荐镜像

更多