【运维知识进阶篇】Zabbix5.0稳定版详解9(Zabbix优化:高并发对MySQL进行拆分、Zabbix-agent主动上报模式、使用proxy代理模式、系统自带监控项优化、进程优化、缓存优化)

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 【运维知识进阶篇】Zabbix5.0稳定版详解9(Zabbix优化:高并发对MySQL进行拆分、Zabbix-agent主动上报模式、使用proxy代理模式、系统自带监控项优化、进程优化、缓存优化)

Zabbix在使用的过程中有很多优化的点,可以提高系统性能和使用效率,包括高并发需要对MySQL进行拆分、Zabbix-agent被动上传修改为主动上报模式、服务器的地区较多的情况尽量使用proxy代理模式、系统自带监控项优化、进程优化、缓存优化。

一、高并发需要对MySQL进行拆分

在高并发环境下,单个MySQL实例可能无法处理大量的查询请求。因此,可以考虑将Zabbix数据库进行拆分,以减轻负载。可以通过多个MySQL实例,每个实例负责不同的数据表或区域,从而实现数据库的拆分。

1. 1、分析当前的负载情况,确定是否需要拆分MySQL数据库。
2. 2、准备多个MySQL实例,并为每个实例创建相应的数据库。
3. 3、将Zabbix的数据表根据一定的规则拆分到各个MySQL实例中。可以根据功能模块、地理区域等进行拆分。
4. 4、修改Zabbix服务器和代理的配置文件,使其连接相应的MySQL实例。

二、Zabbix-agent被动上传修改为主动上报模式

默认情况下,Zabbix-agent使用被动上传模式,即等待服务器向其请求数据。但在高负载环境中,被动上传模式可能产生较高的系统负载。所以,将被动上传模式修改为主动上报模式可能会更好,即Zabbix-agent主动将数据发送给Zabbix服务器。

1. 1、修改Zabbix-agent的配置文件,在其中启用主动上报模式。
2. 2、在Zabbix服务器上添加主动监控项,用于接收来自Zabbix-agent的数据。
3. 3、配置主动监控项的触发器和动作,以便在满足特定条件时触发通知。

详细可以参考这篇文章: 【运维知识进阶篇】zabbix5.0稳定版详解6(zabbix自动化监控:自动发现+自动注册+监控项目主动式)_我是koten的博客-CSDN博客

三、服务器的地区较多的情况尽量使用proxy代理模式

当Zabbix服务器和被监控的主机地理位置较远时,网络延迟可能较高,影响数据采集的效率。在这种情况下,可以配置Zabbix Proxy代理来充当中间节点,将代理放置在被监控的主机附近,以减少网络延迟和带宽消耗。

1. 1、在需要进行代理的地区部署Zabbix Proxy代理服务器。
2. 2、配置Zabbix Proxy代理的相关参数,包括连接Zabbix服务器的地址、端口以及需要代理的主机。
3. 3、在被监控的主机上修改Zabbix-agent的配置文件,将其连接到相应的Zabbix Proxy代理服务器。

详细可以参考这篇文章:【运维知识进阶篇】zabbix5.0稳定版详解7(zabbix分布式监控:使用场景+功能详解+快速部署+基本使用)_我是koten的博客-CSDN博客

四、系统自带监控项优化

Zabbix提供了一些系统自带的监控项,但并非每个监控项都适用于所有情况。因此,可以根据实际需求,选择性地启用、禁用或调整这些自带的监控项,以减少不必要的开销。

1. 1、在Zabbix前端界面上,禁用不需要的系统自带监控项。
2. 2、根据需求,自定义监控项,以更准确地监控系统的关键指标。
3. 3、避免在单个主机上同时启用大量监控项,可以分散监控项的负载到多个主机。

详细可以参考这篇文章:

【运维知识进阶篇】zabbix5.0稳定版详解4(用脚本自定义监控项+监控MySQL状态信息)_我是koten的博客-CSDN博客

五、进程优化

对于Zabbix相关的进程,如Zabbix-server、Zabbix-agent等,可以根据系统的实际情况进行调优。例如,可以调整进程的启动参数、最大文件描述符数、线程数等,以提高性能和稳定性。

由于zabbix版本不同,可能有的配置项配置文件没有,自行调整即可。

1. 1. 调整Zabbix-server和Zabbix-agent的启动参数:
2.  - 打开Zabbix-server配置文件(一般为zabbix_server.conf):vim /etc/zabbix/zabbix_server.conf`
3.  - 修改Zabbix-server的启动参数,如调整内存限制为8GB:
4.     ```
5.     StartVMwarePerfFrequency=60
6.     StartJavaGateway=0
7.     JavaGateway=127.0.0.1
8.     JavaGatewayPort=10052
9.     StartHTTPPollers=5
10.     StartPreprocessors=10
11.     StartPollers=100
12.     StartPingers=10
13.     StartDiscoverers=15
14.     ```
15.  - 打开Zabbix-agent配置文件(一般为zabbix_agentd.conf):vim /etc/zabbix/zabbix_agentd.conf
16.  - 修改Zabbix-agent的启动参数,如调整内存限制为2GB:
17.     ```
18.     StartAgents=10
19.     ```
20. 2. 配置操作系统的最大文件描述符数:
21.  - 打开limits.conf文件:vim /etc/security/limits.conf
22.  - 添加以下行以提高文件描述符限制,如每个进程最大打开文件数为65536:
23.     ```
24.     * soft nofile 65536
25.     * hard nofile 65536
26.     ```
27.  - 打开sysctl.conf文件:vim /etc/sysctl.conf
28.  - 添加以下行以提高系统的可打开文件数:
29.     ```
30.     fs.file-max = 200000
31.     ```

六、缓存优化

Zabbix在数据查询和处理过程中使用了内部缓存,以提高性能。通过适当调整缓存大小、缓存时间等参数,可以优化系统的性能;还可以使用外部缓存服务器,如Memcached或Redis,来存储和提供缓存数据,提高响应速度和减轻数据库负载;针对频繁查询的数据,如历史数据和趋势数据等,可以使用缓存策略,减轻数据库负载。

由于zabbix版本不同,可能有的配置项配置文件没有,自行调整即可。

1. 1. 修改Zabbix-server的缓存参数:
2.  - 打开Zabbix-server配置文件:vi /etc/zabbix/zabbix_server.conf
3.  - 修改缓存配置,如增加缓存大小限制和缓存数量,即将以下参数修改为合适的值:
4.     ```
5.     CacheSize=512M
6.     CacheUpdateFrequency=30
7.     StartPollersUnreachable=5
8.     ```
9. 2. 配置使用外部缓存服务器(如Memcached或Redis):
10.  - 根据具体情况,安装并配置Memcached或Redis服务器。(这里以Memcached为例)
11.  - 修改Zabbix-server和Zabbix-agent的配置文件,使其与Memcached服务器进行连接。
12.  - 在Zabbix-server配置文件中添加以下行:
13.       ```
14.       CacheType=CACHE_MEMCACHED
15.       CacheSize=512M
16.       CacheUpdateFrequency=30
17.       StartPollersUnreachable=5
18.       MemcachedCacheSize=256M
19.       MemcachedTimeout=10s
20.       MemcachedLocation=127.0.0.1:11211
21.       ```
22.  - 在Zabbix-agent配置文件中添加以下行:
23.       ```
24.       CachedItemMax=1000
25.       CachedItemSize=128K
26.       ```
27. 3. 重启Zabbix-server和Zabbix-agent服务,使配置生效:
28.  - 重启Zabbix-server服务:systemctl restart zabbix-server
29.  - 重启Zabbix-agent服务:systemctl restart zabbix-agent

我是koten,10年运维经验,持续分享运维干货,感谢大家的阅读和关注!

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
4天前
|
NoSQL 关系型数据库 MySQL
MySQL与Redis协同作战:百万级数据统计优化实践
【10月更文挑战第21天】 在处理大规模数据集时,传统的单体数据库解决方案往往力不从心。MySQL和Redis的组合提供了一种高效的解决方案,通过将数据库操作与高速缓存相结合,可以显著提升数据处理的性能。本文将分享一次实际的优化案例,探讨如何利用MySQL和Redis共同实现百万级数据统计的优化。
29 9
|
4天前
|
NoSQL 关系型数据库 MySQL
MySQL与Redis协同作战:优化百万数据查询的实战经验
【10月更文挑战第13天】 在处理大规模数据集时,传统的关系型数据库如MySQL可能会遇到性能瓶颈。为了提升数据处理的效率,我们可以结合使用MySQL和Redis,利用两者的优势来优化数据查询。本文将分享一次实战经验,探讨如何通过MySQL与Redis的协同工作来优化百万级数据统计。
21 5
|
9天前
|
存储 关系型数据库 MySQL
优化 MySQL 的锁机制以提高并发性能
【10月更文挑战第16天】优化 MySQL 锁机制需要综合考虑多个因素,根据具体的应用场景和需求进行针对性的调整。通过不断地优化和改进,可以提高数据库的并发性能,提升系统的整体效率。
15 1
|
9天前
|
缓存 关系型数据库 MySQL
一文彻底弄懂MySQL优化之深度分页
【10月更文挑战第24天】本文深入探讨了 MySQL 深度分页的原理、常见问题及优化策略。首先解释了深度分页的概念及其带来的性能和资源问题。接着介绍了基于偏移量(OFFSET)和限制(LIMIT)以及基于游标的分页方法,并分析了它们的优缺点。最后,提出了多种优化策略,包括合理创建索引、优化查询语句和使用数据缓存,帮助提升分页查询的性能和系统稳定性。
|
12天前
|
NoSQL 关系型数据库 MySQL
MySQL与Redis协同作战:百万数据量的优化实录
【10月更文挑战第6天】 在现代互联网应用中,随着用户量的增加和业务逻辑的复杂化,数据量级迅速增长,这对后端数据库系统提出了严峻的挑战。尤其是当数据量达到百万级别时,传统的数据库解决方案往往会遇到性能瓶颈。本文将分享一次使用MySQL与Redis协同优化大规模数据统计的实战经验。
55 3
|
12天前
|
NoSQL 关系型数据库 BI
记录一次MySQL+Redis实现优化百万数据统计的方式
【10月更文挑战第13天】 在处理百万级数据的统计时,传统的单体数据库往往力不从心,这时结合使用MySQL和Redis可以显著提升性能。以下是一次实际优化案例的详细记录。
66 1
|
19天前
|
SQL 关系型数据库 MySQL
在日常工作中怎么做MySQL优化的?
在日常工作中怎么做MySQL优化的?
|
8天前
|
存储 监控 关系型数据库
MySQL并发控制与管理:优化数据库性能的关键
【10月更文挑战第17天】MySQL并发控制与管理:优化数据库性能的关键
25 0
|
10天前
|
监控 关系型数据库 MySQL
mysql8索引优化
综上所述,深入理解和有效实施这些索引优化策略,是解锁MySQL 8.0数据库高性能查询的关键。
24 0
|
17天前
|
关系型数据库 MySQL 数据库
深入浅出MySQL索引优化:提升数据库性能的关键
在这个数据驱动的时代,数据库性能的优劣直接关系到应用的响应速度和用户体验。MySQL作为广泛使用的数据库之一,其索引优化是提升查询性能的关键。本文将带你一探MySQL索引的内部机制,分析索引的类型及其适用场景,并通过实际案例演示如何诊断和优化索引,以实现数据库性能的飞跃。

推荐镜像

更多