性能测试 基于Python结合InfluxDB及Grafana图表实时采集Linux多主机或Docker容器性能数据

本文涉及的产品
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: 性能测试 基于Python结合InfluxDB及Grafana图表实时采集Linux多主机或Docker容器性能数据

Python结合InfluxDBGrafana图表实时采集Linux多主机性能数据

 


 

 

实现功能

无需在被监控主机上安装代理,一键对Linux远程服务器不同主机执行性能监控、性能数据采集命令,并实时展示

 

支持跨堡垒机收集实时性能数据(注:定制化开发,非通用)

 

支持docker容器(因为程序实现是从docker容器内部获取性能数据,所以目前仅支持CPU,内存,I/O)

 

使用前提

可以用Xshell等工具远程连接Linux主机

 

Linux主机支持sar命令

 

dokcer容器内部挂载了docker容器自身的cgroup系统

 

注:目前不支持嵌套cgroup下子cgroup的性能数据监控

 

测试环境

Win7 64

 

Python 3.4.0

 

CentOS 6 64位(内核版本2.6.32-642.el6.x86_64

 

influxdb-1.5.2.x86_64.rpm

网盘下载地址:

https://pan.baidu.com/s/1jAbY4xz5gvzoXxLHesQ-PA

 

 

grafana-5.1.2-1.x86_64.rpm

下载地址:

https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-5.1.3-1.x86_64.rpm

下载地址:https://pan.baidu.com/s/1wtnPH-iYxaXc6FnL1i0ZVg

 

 

influxdb-5.0.0-py2.py3-none-any.whl

下载地址:

https://pypi.org/project/influxdb/#files

下载地址:https://pan.baidu.com/s/1DQ0HGYNg2a2-VnRSBdPHmg

 

paramiko 1.15.2

下载地址:

https://pypi.python.org/pypi/paramiko/1.15.2

https://pan.baidu.com/s/1i4SJ1CL

 

cryptography-1.0-cp34-none-win_amd64.whl

(如果paramiko可以正常安装完,则不需要安装该类库)

下载地址:

https://pypi.python.org/pypi/cryptography/1.0

https://pan.baidu.com/s/1jIRBJvg

 

安装好后,找到nt.py(本例中路径为:

Lib\site-packages\pycrypto-2.6.1-py3.4-win-amd64.egg\Crypto\Random\OSRNG\nt.py),修改

import winrandom

from Crypto.Random.OSRNG import winrandom

如下

#import winrandom

from Crypto.Random.OSRNG import winrandom

 

以解决ImportError: No module named 'winrandom'错误

 

说明:具体文件路径可能还得根据实际报错情况来确定,如下

............()

"D:\ProgramFiles\python33\lib\site-packages\Crypto\Random\OSRNG\nt.py", line 28, in

   import winrandom

ImportError: No module named 'winrandom'

 

 

 

VS2010

因操作系统而异,可能需要安装VS2010,以解决包依赖问题

 

 

环境搭建

参考CentOS下结合InfluxDBGrafananux图表实时展示JMeter相关性能数据

grafna 数据源数据库配置:db_目标ip地址


使用方法

influxDB主机配置

monitor\conf\influxDB.conf

[INFLUXDB]

influxdb_host = 10.203.25.106

influxdb_port = 8086

 

主机登录信息配置

(用于远程ssh登录)

monitor\conf\host_config.conf

[10.203.36.1]

host = 10.203.36.1

username = xxxx

password = xxxx

port = 22

remark = 鉴权微服务

 

[10.203.36.33]

host = 10.203.36.33

username = xxxx

password = xxxx

port = 22

remark = 发货微服务

 

[10.202.27.5]

host = 10.202.27.5

username = xxxx

password = xxxx

port = 22

remark = 堡垒机

 

 

[10.202.27.6]

host = 10.202.27.6

username = xxxx

password = xxxx

port = 22

remark = 堡垒机

 

 

说明:

[需要监控的Linux服务器IP]

host = 需要监控的Linux服务器IP

username = 远程登录用户名

password = 用户密码

port = 22

remark = 补充说明

 

堡垒机-目标机配置

bastion_host_config.conf

[10.202.27.5]

ip1 = 10.203.33.18

ip2 = 10.203.33.19

ip3 = 10.203.33.20

 

[10.202.27.6]

ip4 = 10.203.33.21

ip5 = 10.203.32.49

ip6 = 10.203.33.4

 

说明:

[堡垒机ip]

自定义名称 = 需要通过堡垒机访问的目标ip

 

注意:不同堡垒机节点下的目标ip不能重复

 

堡垒机连接目标机,账号密码,登录用户选取等信息配置

monitor\conf\account.conf

[ACCOUNT]

user_id = 01367522

pwd = xxx

login_user_choice = 1

 

dokcer容器cpu, cpuacct,memory,blkio系统路径配置

[CGROUPPATH]

cpu_path=/sys/fs/cgroup/cpu

cpuacct_path=/sys/fs/cgroup/cpuacct

memory_path=/sys/fs/cgroup/memory

blkio_path=/sys/fs/cgroup/blkio/

 

#cpu_path=/cgroup/cpu/docker/docker/$CONTAINERID

#cpuacct_path=/cgroup/cpuacct/docker/docker/$CONTAINERID

#memory_path=/cgroup/memory/docker/docker/$CONTAINERID

#blkio_path=/cgroup/blkio/docker/docker/$CONTAINERID

 

#cpu_path=/cgroup/cpu/docker/d74ac2610ed325498767bc708197148d414bf6a7719f15c013dc2b6460690dd8

#cpuacct_path=/cgroup/cpuacct/docker/d74ac2610ed325498767bc708197148d414bf6a7719f15c013dc2b6460690dd8

#memory_path=/cgroup/memory/docker/d74ac2610ed325498767bc708197148d414bf6a7719f15c013dc2b6460690dd8

#blkio_path=/cgroup/blkio/docker/d74ac2610ed325498767bc708197148d414bf6a7719f15c013dc2b6460690dd8

 

说明:

系统路径支持简单的参数化,目前仅支持容器ID(大写的$CONTAINERID),如上

一次仅支持一组配置

 

配置单台目标机器上不要采集的性能指标维度(可选)

monitor\conf\host_filter.conf

[HOSTFILTER]

10.203.36.1 = onecpu, disk

#10.203.36.33 =

10.203.36.4 =

 

[HOSTFILTER]

待监控目标ip = 指标维度1,指标维度2,维度之间用逗号分隔

 

维度说明:

onecpu  不采集单个cpu的性能数据信息

queue   采集系统负载队列长度和负载均值性能数据信息

proc    采集任务创建和系统上下文切换信息

mem     不采集内存性能数据信息

swap    不采集swap交换统计信息

swapspace 不采集swap空间使用率信息

deviotps 不采集磁盘设备I/O性能数据信息

netdev  不采集网络设备(一般指网卡)的性能数据信息

enetdev 不采集网络设备(一般指网卡)的出错数据信息

disk    不采集单个磁盘的性能数据信息

paging  不采集分页信息

 

如果不需要过滤,可不配置,或者如上设置ip等于空,或者用#注释

 

 

待监控主机配置

monitor\conf\target_host_for_monitor.conf

# #代表注释

10.203.36.1

10.203.36.33

 

# 堡垒机

10.202.27.5

 

# 需要通过堡垒机访问的目标ip

ip1 = 10.203.33.18

 

 

注意:

1、每一行代表需要监控的ip

如果ip不需要通过堡垒机访问,那么这个ip必须在monitor\conf\host_config.conf有对应的配置才会被监控,不想监控则注释;

如果ip需要通过堡垒机访问,那么这个ip必须在monitor\conf\bastion_host_config.conf下有对应的配置,且这里必须配置对应堡垒机IP,才会被监控

 

 

 

运行程序

数据收集:

 

python main.py

 

或者

python main.py 2 20

 

python main.py 2 10+45+10

 

python main.py 210 + 45 + 10

 

python main.py 2 20onecpu netdev enetdev disk paging

 

python main.py 采集频率(默认1/s)采集时间(秒,默认1s)不监控维度

 

说明:为了方便,采集时间可以写成加减运算表达式,省去“心算”,方便算术能力不好的人,比如我~~

 

如果需要设置不监控维度(每个维度之间用逗号相隔,目前仅支持以下维度),则一定要“显示”的指定采集频率和采集时间

 

onecpu  不采集单个cpu的性能数据信息

queue   采集系统负载队列长度和负载均值性能数据信息

proc    采集任务创建和系统上下文切换信息

mem     不采集内存性能数据信息

swap    不采集swap交换统计信息

swapspace 不采集swap空间使用率信息

deviotps 不采集磁盘设备I/O性能数据信息

netdev  不采集网络设备(一般指网卡)的性能数据信息

enetdev 不采集网络设备(一般指网卡)的出错数据信息

disk    不采集单个磁盘的性能数据信息

paging  不采集分页信息

 

注意:

1、这里的维度过滤是针对所有待监控目标机的,针对单台机器的过滤项是在这个基础上做的进一步过滤

 

2、如果逻辑CPU个数,磁盘设备,网卡设备过多的情况下,如果不过滤对应指标,可能会因为采集的数据量过大,解析耗时加长,无法及时显示所要的数据(特别是CPU,单台机器有几十个逻辑CPU的情况下,延迟会很严重)

 

实践测试记录:公司服务器,1秒钟采集一次,采集1个小时,统一加过滤项,如下方式运行

 

python main.py1 3600  onecpu netdev enetdev paging

 

44台机器同时采集(总的会开启88个线程),可以做到实时显示

 

3docker容器监控,不支持维度过滤,即IO,CPU,内存要么监控,要么不监控

 

 

数据清理:

pythondropDB.py

 

根据提示,可删除单个数据库,或者一次性删除所有数据库的数据

 

效果展示

 

加群获取更多相关文档

 

源码获取地址:https://gitee.com/ishouke/PMonitor


 

目录
相关文章
|
5月前
|
JSON 测试技术 API
优化你的 REST Assured 测试:设置默认主机与端口、GET 请求与断言
REST Assured 是一个强大的 Java 库,用于简化 RESTful API 测试。本文详解了其核心功能:设置默认主机和端口以减少代码重复、发起 GET 请求并验证响应结果,以及通过断言确保接口行为符合预期。同时推荐 Apipost 工具,助力开发者提升 API 测试效率,实现更高效的接口管理与团队协作。掌握这些技巧,可显著优化测试流程与代码质量。
|
3月前
|
Linux iOS开发 Docker
MyEMS开源系统安装之Linux/macOS上的DOcker
本指南详细介绍了如何在Linux/macOS上使用Docker部署MyEMS系统。主要内容包括:前置条件(如安装Docker、npm和MySQL),以及分步骤部署各个组件(如myems-api、myems-admin、myems-modbus-tcp等)。每个步骤涵盖源代码复制、环境配置、镜像构建、容器运行及日志管理等操作,并提供了多平台构建的支持。最后,指南还说明了默认端口和登录凭据,帮助用户快速启动并访问MyEMS的管理界面和Web界面。
118 1
|
5月前
|
关系型数据库 MySQL Linux
在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾
以上就是在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾的步骤。这个过程就像是一场接力赛,数据从MySQL数据库中接力棒一样传递到备份文件,再从备份文件传递到其他服务器,最后再传递回MySQL数据库。这样,即使在灾难发生时,我们也可以快速恢复数据,保证业务的正常运行。
265 28
|
5月前
|
Prometheus 监控 Cloud Native
Prometheus+Grafana(docker安装)
本文档详细介绍了如何使用Docker容器快速部署Prometheus监控系统和Grafana数据可视化平台。该方案适用于需要快速搭建监控环境的开发测试场景,具备部署简单、资源占用低、易于维护等特点。
|
9月前
|
Ubuntu Linux Shell
(已解决)Linux环境—bash: wget: command not found; Docker pull报错Error response from daemon: Get https://registry-1.docker.io/v2/: net/http: request canceled
(已成功解决)Linux环境报错—bash: wget: command not found;常见Linux发行版本,Linux中yum、rpm、apt-get、wget的区别;Docker pull报错Error response from daemon: Get https://registry-1.docker.io/v2/: net/http: request canceled
4246 69
(已解决)Linux环境—bash: wget: command not found; Docker pull报错Error response from daemon: Get https://registry-1.docker.io/v2/: net/http: request canceled
|
6月前
|
Linux 网络安全 虚拟化
linux怎么把文件传到docker里面
在现代应用开发中,Docker作为流行的虚拟化工具,广泛应用于微服务架构。文件传输到Docker容器是常见需求。常用方法包括:1) `docker cp`命令直接复制文件;2) 使用`-v`选项挂载宿主机目录,实现数据持久化和实时同步;3) 通过SCP/FTP协议传输文件;4) 在Dockerfile中构建镜像时添加文件。选择合适的方法并确保网络安全是关键。
589 1
|
6月前
|
Linux 虚拟化 Docker
Linux服务器部署docker windows
在当今软件开发中,Docker成为流行的虚拟化技术,支持在Linux服务器上运行Windows容器。流程包括:1) 安装Docker;2) 配置支持Windows容器;3) 获取Windows镜像;4) 运行Windows容器;5) 验证容器状态。通过这些步骤,你可以在Linux环境中顺利部署和管理Windows应用,提高开发和运维效率。
704 1
|
8月前
|
Linux Docker 容器
Linux 中停止 Docker 服务报 warning 导致无法彻底停止问题如何解决?
在 Linux 系统中,停止 Docker 服务时遇到警告无法彻底停止的问题,可以通过系统管理工具停止服务、强制终止相关进程、检查系统资源和依赖关系、以及重置 Docker 环境来解决。通过以上步骤,能够有效地排查和解决 Docker 服务停止不彻底的问题,确保系统的稳定运行。
570 19
|
2月前
|
监控 Linux 网络安全
Linux命令大全:从入门到精通
日常使用的linux命令整理
624 13
|
3月前
|
Linux 网络安全 数据安全/隐私保护
使用Linux系统的mount命令挂载远程服务器的文件夹。
如此一来,你就完成了一次从你的Linux发车站到远程服务器文件夹的有趣旅行。在这个技术之旅中,你既探索了新地方,也学到了如何桥接不同系统之间的距离。
456 21