【运维知识进阶篇】Zabbix5.0稳定版详解9(Zabbix优化:高并发对MySQL进行拆分、Zabbix-agent主动上报模式、使用proxy代理模式、系统自带监控项优化、进程优化、缓存优化)

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 【运维知识进阶篇】Zabbix5.0稳定版详解9(Zabbix优化:高并发对MySQL进行拆分、Zabbix-agent主动上报模式、使用proxy代理模式、系统自带监控项优化、进程优化、缓存优化)

Zabbix在使用的过程中有很多优化的点,可以提高系统性能和使用效率,包括高并发需要对MySQL进行拆分、Zabbix-agent被动上传修改为主动上报模式、服务器的地区较多的情况尽量使用proxy代理模式、系统自带监控项优化、进程优化、缓存优化。

一、高并发需要对MySQL进行拆分

在高并发环境下,单个MySQL实例可能无法处理大量的查询请求。因此,可以考虑将Zabbix数据库进行拆分,以减轻负载。可以通过多个MySQL实例,每个实例负责不同的数据表或区域,从而实现数据库的拆分。

1. 1、分析当前的负载情况,确定是否需要拆分MySQL数据库。
2. 2、准备多个MySQL实例,并为每个实例创建相应的数据库。
3. 3、将Zabbix的数据表根据一定的规则拆分到各个MySQL实例中。可以根据功能模块、地理区域等进行拆分。
4. 4、修改Zabbix服务器和代理的配置文件,使其连接相应的MySQL实例。

二、Zabbix-agent被动上传修改为主动上报模式

默认情况下,Zabbix-agent使用被动上传模式,即等待服务器向其请求数据。但在高负载环境中,被动上传模式可能产生较高的系统负载。所以,将被动上传模式修改为主动上报模式可能会更好,即Zabbix-agent主动将数据发送给Zabbix服务器。

1. 1、修改Zabbix-agent的配置文件,在其中启用主动上报模式。
2. 2、在Zabbix服务器上添加主动监控项,用于接收来自Zabbix-agent的数据。
3. 3、配置主动监控项的触发器和动作,以便在满足特定条件时触发通知。

详细可以参考这篇文章: 【运维知识进阶篇】zabbix5.0稳定版详解6(zabbix自动化监控:自动发现+自动注册+监控项目主动式)_我是koten的博客-CSDN博客

三、服务器的地区较多的情况尽量使用proxy代理模式

当Zabbix服务器和被监控的主机地理位置较远时,网络延迟可能较高,影响数据采集的效率。在这种情况下,可以配置Zabbix Proxy代理来充当中间节点,将代理放置在被监控的主机附近,以减少网络延迟和带宽消耗。

1. 1、在需要进行代理的地区部署Zabbix Proxy代理服务器。
2. 2、配置Zabbix Proxy代理的相关参数,包括连接Zabbix服务器的地址、端口以及需要代理的主机。
3. 3、在被监控的主机上修改Zabbix-agent的配置文件,将其连接到相应的Zabbix Proxy代理服务器。

详细可以参考这篇文章:【运维知识进阶篇】zabbix5.0稳定版详解7(zabbix分布式监控:使用场景+功能详解+快速部署+基本使用)_我是koten的博客-CSDN博客

四、系统自带监控项优化

Zabbix提供了一些系统自带的监控项,但并非每个监控项都适用于所有情况。因此,可以根据实际需求,选择性地启用、禁用或调整这些自带的监控项,以减少不必要的开销。

1. 1、在Zabbix前端界面上,禁用不需要的系统自带监控项。
2. 2、根据需求,自定义监控项,以更准确地监控系统的关键指标。
3. 3、避免在单个主机上同时启用大量监控项,可以分散监控项的负载到多个主机。

详细可以参考这篇文章:

【运维知识进阶篇】zabbix5.0稳定版详解4(用脚本自定义监控项+监控MySQL状态信息)_我是koten的博客-CSDN博客

五、进程优化

对于Zabbix相关的进程,如Zabbix-server、Zabbix-agent等,可以根据系统的实际情况进行调优。例如,可以调整进程的启动参数、最大文件描述符数、线程数等,以提高性能和稳定性。

由于zabbix版本不同,可能有的配置项配置文件没有,自行调整即可。

1. 1. 调整Zabbix-server和Zabbix-agent的启动参数:
2.  - 打开Zabbix-server配置文件(一般为zabbix_server.conf):vim /etc/zabbix/zabbix_server.conf`
3.  - 修改Zabbix-server的启动参数,如调整内存限制为8GB:
4.     ```
5.     StartVMwarePerfFrequency=60
6.     StartJavaGateway=0
7.     JavaGateway=127.0.0.1
8.     JavaGatewayPort=10052
9.     StartHTTPPollers=5
10.     StartPreprocessors=10
11.     StartPollers=100
12.     StartPingers=10
13.     StartDiscoverers=15
14.     ```
15.  - 打开Zabbix-agent配置文件(一般为zabbix_agentd.conf):vim /etc/zabbix/zabbix_agentd.conf
16.  - 修改Zabbix-agent的启动参数,如调整内存限制为2GB:
17.     ```
18.     StartAgents=10
19.     ```
20. 2. 配置操作系统的最大文件描述符数:
21.  - 打开limits.conf文件:vim /etc/security/limits.conf
22.  - 添加以下行以提高文件描述符限制,如每个进程最大打开文件数为65536:
23.     ```
24.     * soft nofile 65536
25.     * hard nofile 65536
26.     ```
27.  - 打开sysctl.conf文件:vim /etc/sysctl.conf
28.  - 添加以下行以提高系统的可打开文件数:
29.     ```
30.     fs.file-max = 200000
31.     ```

六、缓存优化

Zabbix在数据查询和处理过程中使用了内部缓存,以提高性能。通过适当调整缓存大小、缓存时间等参数,可以优化系统的性能;还可以使用外部缓存服务器,如Memcached或Redis,来存储和提供缓存数据,提高响应速度和减轻数据库负载;针对频繁查询的数据,如历史数据和趋势数据等,可以使用缓存策略,减轻数据库负载。

由于zabbix版本不同,可能有的配置项配置文件没有,自行调整即可。

1. 1. 修改Zabbix-server的缓存参数:
2.  - 打开Zabbix-server配置文件:vi /etc/zabbix/zabbix_server.conf
3.  - 修改缓存配置,如增加缓存大小限制和缓存数量,即将以下参数修改为合适的值:
4.     ```
5.     CacheSize=512M
6.     CacheUpdateFrequency=30
7.     StartPollersUnreachable=5
8.     ```
9. 2. 配置使用外部缓存服务器(如Memcached或Redis):
10.  - 根据具体情况,安装并配置Memcached或Redis服务器。(这里以Memcached为例)
11.  - 修改Zabbix-server和Zabbix-agent的配置文件,使其与Memcached服务器进行连接。
12.  - 在Zabbix-server配置文件中添加以下行:
13.       ```
14.       CacheType=CACHE_MEMCACHED
15.       CacheSize=512M
16.       CacheUpdateFrequency=30
17.       StartPollersUnreachable=5
18.       MemcachedCacheSize=256M
19.       MemcachedTimeout=10s
20.       MemcachedLocation=127.0.0.1:11211
21.       ```
22.  - 在Zabbix-agent配置文件中添加以下行:
23.       ```
24.       CachedItemMax=1000
25.       CachedItemSize=128K
26.       ```
27. 3. 重启Zabbix-server和Zabbix-agent服务,使配置生效:
28.  - 重启Zabbix-server服务:systemctl restart zabbix-server
29.  - 重启Zabbix-agent服务:systemctl restart zabbix-agent

我是koten,10年运维经验,持续分享运维干货,感谢大家的阅读和关注!

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
8天前
|
关系型数据库 MySQL Linux
MySQL原理简介—6.简单的生产优化案例
本文介绍了数据库和存储系统的几个主题: 1. **MySQL日志的顺序写和数据文件的随机读指标**:解释了磁盘随机读和顺序写的原理及对数据库性能的影响。 2. **Linux存储系统软件层原理及IO调度优化原理**:解析了Linux存储系统的分层架构,包括VFS、Page Cache、IO调度等,并推荐使用deadline算法优化IO调度。 3. **数据库服务器使用的RAID存储架构**:介绍了RAID技术的基本概念及其如何通过多磁盘阵列提高存储容量和数据冗余性。 4. **数据库Too many connections故障定位**:分析了MySQL连接数限制问题的原因及解决方法。
|
11天前
|
SQL 关系型数据库 MySQL
MySQL进阶突击系列(07) 她气鼓鼓递来一条SQL | 怎么看执行计划、SQL怎么优化?
在日常研发工作当中,系统性能优化,从大的方面来看主要涉及基础平台优化、业务系统性能优化、数据库优化。面对数据库优化,除了DBA在集群性能、服务器调优需要投入精力,我们研发需要负责业务SQL执行优化。当业务数据量达到一定规模后,SQL执行效率可能就会出现瓶颈,影响系统业务响应。掌握如何判断SQL执行慢、以及如何分析SQL执行计划、优化SQL的技能,在工作中解决SQL性能问题显得非常关键。
|
3天前
|
缓存 算法 关系型数据库
MySQL底层概述—8.JOIN排序索引优化
本文主要介绍了MySQL中几种关键的优化技术和概念,包括Join算法原理、IN和EXISTS函数的使用场景、索引排序与额外排序(Using filesort)的区别及优化方法、以及单表和多表查询的索引优化策略。
MySQL底层概述—8.JOIN排序索引优化
|
4天前
|
SQL 关系型数据库 MySQL
MySQL底层概述—7.优化原则及慢查询
本文主要介绍了:Explain概述、Explain详解、索引优化数据准备、索引优化原则详解、慢查询设置与测试、慢查询SQL优化思路
MySQL底层概述—7.优化原则及慢查询
|
5天前
|
存储 缓存 关系型数据库
MySQL底层概述—5.InnoDB参数优化
本文介绍了MySQL数据库中与内存、日志和IO线程相关的参数优化,旨在提升数据库性能。主要内容包括: 1. 内存相关参数优化:缓冲池内存大小配置、配置多个Buffer Pool实例、Chunk大小配置、InnoDB缓存性能评估、Page管理相关参数、Change Buffer相关参数优化。 2. 日志相关参数优化:日志缓冲区配置、日志文件参数优化。 3. IO线程相关参数优化: 查询缓存参数、脏页刷盘参数、LRU链表参数、脏页刷盘相关参数。
MySQL底层概述—5.InnoDB参数优化
|
7天前
|
关系型数据库 MySQL 数据库
从MySQL优化到脑力健康:技术人与效率的双重提升
聊到效率这个事,大家应该都挺有感触的吧。 不管是技术优化还是个人状态调整,怎么能更快、更省力地完成事情,都是我们每天要琢磨的事。
56 23
|
6天前
|
SQL 关系型数据库 MySQL
MySQL原理简介—11.优化案例介绍
本文介绍了四个SQL性能优化案例,涵盖不同场景下的问题分析与解决方案: 1. 禁止或改写SQL避免自动半连接优化。 2. 指定索引避免按聚簇索引全表扫描大表。 3. 按聚簇索引扫描小表减少回表次数。 4. 避免产生长事务长时间执行。
|
23天前
|
监控 关系型数据库 MySQL
Aurora MySQL负载突增应对策略与优化方案
通过以上策略,企业可以有效应对 Aurora MySQL 的负载突增,确保数据库在高负载情况下依然保持高性能和稳定性。这些优化方案涵盖了从架构设计到具体配置和监控的各个方面,能够全面提升数据库的响应速度和处理能力。在实际应用中,应根据具体的业务需求和负载特征,灵活调整和应用这些优化策略。
50 22
|
1月前
|
SQL 关系型数据库 MySQL
MySQL派生表合并优化的原理和实现
通过本文的详细介绍,希望能帮助您理解和实现MySQL中派生表合并优化,提高数据库查询性能。
80 16
|
28天前
|
缓存 关系型数据库 MySQL
【深入了解MySQL】优化查询性能与数据库设计的深度总结
本文详细介绍了MySQL查询优化和数据库设计技巧,涵盖基础优化、高级技巧及性能监控。
222 0

热门文章

最新文章

推荐镜像

更多