AI 助理
备案控制台
开发者社区 数据库 文章 正文

性能工具之JMeter+InfluxDB+Grafana打造压测可视化实时监控

2024-05-27 592
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
性能测试 PTS，5000VUM额度
可观测可视化 Grafana 版，10个用户账号 1个月
简介： 【5月更文挑战第23天】性能工具之JMeter+InfluxDB+Grafana打造压测可视化实时监控

一、概述

本文我们将介绍如何使用JMeter+InfluxDB+Grafana打造压测可视化实时监控。

二、引言

我们很多时候在使用JMeter做性能测试，我们很难及时察看压测过程中应用的性能状况，总是需要等到测试完成后去看Report，如果是长时间压测，比如压测1~2天，那就更烦人了。

压测的时候，我们实时通过监听器 GenerateSummaryResults汇总输出，可以看到如下内容

image.png

GenerateSummaryResults汇总展示了压测中需要关注的大量信息，其中包括：Avg (Average), Min (Minimum) 、Max (Maximum)响应时间，TPS，错误率，活跃线程数等, jmeter.properties默认是30秒的统计频率，如果我们想使用小于30秒更细颗粒度的统计频率的时候，那么在控制台会有大量的输出，这个时候我们就不好观察结果了。

# jmeter.properties 
# Define the following property to automatically start a summariser with that name
# (applies to non-GUI mode only)
# summariser.name=summary
#
# interval between summaries (in seconds) default 3 minutes
# summariser.interval=30
#
# Write messages to log file
# summariser.log=true
#
# Write messages to System.out
# summariser.out=true

另一方面，如果需要分享给其它人员，这种控制台输出方式并不是一个很友好的方式，我们需要一个简单漂亮的图形，比如HTML Dashboard，但需要等待整个测试完成。
image.png

因此，我们可以在测试计划中去除GenerateSummaryResults，把测试结果发送到数据库中持久化，这样我们就可以通过SQL查询数据库来创建展示图表。

从JMeter2.13开始，通过提供实现AbstractBackendListenerClient的类，可以使用（JDBC，JMS，Webservice，...）通过Backend Listener发送到数据库的存储实时结果。

BackendListenerGraphiteBackendListenerClient，允许将统计指标发送到Graphite
此功能提供：

  • 实时数据
  • 漂亮图表
  • 能够对比2个以上的测试计划
  • 只要JMeter产生相同的Backend，就可以存储监控数据
    ...

JMeter 3.2 Backend Listener中引入的 InfluxDBBackendListenerClient允使用UDP或HTTP协议将统计指标发送到InfluxDB

此功能提供：

  • 实时数据
  • 漂亮图表
  • 能够对比2个以上的测试计划
  • 能够向图表添加注释
  • 只要JMeter产生相同的Backend，就可以存储监控数据
    ...

    二、 解决方案

    JMeter引入Backend Listener，用于在压测过程中实时发送统计指标数据给时序数据库Influxdb,通过配置Grafana(开源的WEB可视化看板)数据源连接到Influxdb，我们就可以创建炫酷的可视化看板，并可以实时获取到测试指标数据。
    image.png

相关介绍：

时序数据库：处理带时间标签（按照时间的顺序变化，即时间序列化）的数据，带时间标签的数据也称为时间序列数据。想象它就像一个sql表，其中时间是它的主键
InfluxDB：是一款用Go语言编写的开源分布式时序、事件和指标数据库，无需外部依赖。该数据库现在主要用于存储涉及大量的时间戳数据，如DevOps监控数据，APP metrics, loT传感器数据和实时分析数据。

官网地址：https://www.influxdata.com/
数据DEMO

> select* from weather
name: weather
-------------
time                    altitude        area    humidity        temperature
1456386985094000000     1000            北      18              17
1456386985094000000     5000            上      20              47
1456386985094000000     5000            北      26              68
1456386985094000000     1000            广      17              83
1456387267668000000     1000            上      12              77
1456387267668000000     1000            北      16              20
1456387267668000000     5000            广      -3              66
1456387267668000000     5000            上      19              60

与传统数据库中的名词做比较

influxDB中的名词 传统数据库中的概念
database 数据库
measurement 数据库中的表

points | 表里面的一行数据|

InfluxDB中独有的一些概念
Point由时间戳（time）、数据（field）、标签（tags）组成。

Point属性 传统数据库中的概念
time 每个数据记录时间，是数据库中的主索引(会自动生成)
fields 各种记录值（没有索引的属性）也就是记录的值：温度， 湿度
tags 各种有索引的属性：地区，海拔

三、JMeter&InfluxDB集成

1、InfluxDB安装

1.1、安装要求

网络端口
InfluxDB默认使用以下网络端口：

  • TCP端口8086用于通过InfluxDB的HTTP API进行客户端-服务器通信
  • TCP端口8088用于RPC服务以进行备份和还原
  • 除了上面的端口，InfluxDB还提供了多个可能需要自定义端口的插件。可以通过配置文件修改所有端口映射，配置文件位于/etc/influxdb/influxdb.conf默认位置。

网络时间协议（NTP）
InfluxDB使用主机的UTC本地时间为数据分配时间戳并用于协调目的。使用网络时间协议（NTP）同步主机之间的时间; 如果主机的时钟与NTP不同步，写入InfluxDB的数据的时间戳可能不准确。

2、下载安装

wget https://dl.influxdata.com/influxdb/releases/influxdb-1.6.2.x86_64.rpm
sudo yum localinstall influxdb-1.6.2.x86_64.rpm

3、InfluxDB配置

找到InfluxDB配置文件（/etc/influxdb/influxdb.conf）

vi /etc/influxdb/influxdb.conf

influxdb.conf中的大多数设置都被注释掉了;所有注释掉的设置将确定为内部默认值。如果配置文件中的任何未注释的设置都会覆盖内部默认值。
请注意，本地配置文件不需要包含每个配置设置。
如果你无法找到配置文件，可以使用InfluxDB显示配置命令

Influxd config

Jmeter使用graphite协议去写入数据到InfluxDB，因此，需要在InfluxDB配置文件启用它，如下图所示：

[[graphite]]
 enabled = true
 bind-address = ":2003"
 database = "jmeter"
 retention-policy = ""
 protocol = "tcp"
 batch-size = 5000
 batch-pending = 10
 batch-timeout = "1s"
 consistency-level = "one"
 separator = "."
 udp-read-buffer = 0

修改后，使用以下命令加载InfluxDB启动

有两种方法可以使用配置文件启动InfluxDB：
1.使用以下-config选项将进程指向正确的配置文件

 influxd -config /etc/influxdb/influxdb.conf

2.将环境变量设置为INFLUXDBCONFIGPATH配置文件的路径并启动

  echo $INFLUXDB_CONFIG_PATH
/etc/influxdb/influxdb.conf
influxd

InfluxDB操作

 [root@zuozewei ~]# influx  #登录数据库
Connected to http://localhost:8086 version 1.6.2
InfluxDB shell version: 1.6.2
> show databases  #查看所有数据库
name: databases
name
----
_internal
> CREATE DATABASE "jmeter" #创建数据库
> use jmeter               #切换数据库
Using database jmeter
> CREATE USER "admin" WITH PASSWORD 'admin' WITH ALL PRIVILEGES # 创建管理员权限的用户

4、JMeter配置

  1. 创建一个测试计划，并添加Backend Listener
  2. 设置InfluxDB IP及端口设置InfluxDB IP及端口
  3. 运行测试，等待几秒运行测试，等待几秒
  4. 查看JMeter是否生成错误日志查看JMeter是否生成错误日志

image.png

端口说明：

  • 8086端口，Grafana用来从数据库取数据的端口
  • 2003端口，JMeter往数据库发数据的端口

查看JMeter数据库下所有的表

> show measurements
name: measurements
name
----
delta
jmeter.all.a.avg
jmeter.all.a.count
jmeter.all.a.max
jmeter.all.a.min
jmeter.all.a.pct90
jmeter.all.a.pct95
jmeter.all.a.pct99
jmeter.all.h.count
jmeter.all.ko.count
jmeter.all.ok.avg
jmeter.all.ok.count
jmeter.all.ok.max
jmeter.all.ok.min
jmeter.all.ok.pct90
jmeter.all.ok.pct95
jmeter.all.ok.pct99
jmeter.test.endedT
jmeter.test.maxAT
jmeter.test.meanAT
jmeter.test.minAT
jmeter.test.startedT
total

OK，我们已经可以将统计指标数据成功发送到InfluxDB

四、Grafana&InfluxDB集成

什么是Grafana？

Grafana是一个开源软件，拥有丰富的指标仪表盘和图形编辑器，适用Graphite, Elasticsearch, OpenTSDB, Prometheus，InfluxDB。简单点说就是一套开源WEB可视化平台。

官网地址：https://grafana.com/

1、安装启动

下载安装

wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-4.2.0-1.x86_64.rpm 
sudo yum localinstall grafana-4.2.0-1.x86_64.rpm

启动

service grafana-server start
Starting grafana-server (via systemctl):                   [  OK  ]

使用浏览器打开 http://IP:3000/login，访问Grafana主页
image.png

创建InfluxDB数据源
image.png

单击save&test，确保可以连接上InfluxDB
image.png

创建dashboard

image.png

添加Graph面板
image.png

数据绑定
image.png

image.png
image.png

线程数/用户相关指标
test.minAT-Min active threads：最小活跃线程数
test.maxAT-Max active threads：最大活跃线程数
test.meanAT-Mean active threads：活跃线程数
test.startedT-Started threads：启动线程数
test.endedT-Finished threads：结束线程数

响应时间指标
.ok.count：采样器的成功响应数
.h.count：每秒点击数
.ok.min：采样器成功最短响应时间
.ok.max：采样器成功最长响应时间
.ok.avg：采样器成功平均响应时间
.ok.pct：采样器成功响应百分比
.ko.count：采样器失败响应数
.ko.min：采样器失败的响应最短时间
.ko.max：采样称失败最长响应时间
.ko.avg：采样器失败平均响应时间
.ko.pct：采样器失败响应百分比
.a.count：采样器响应数（ok.count和ko.count的总和）
.a.min：采样器最小响应时间（ok.count和ko.count的最小值）
.a.max：采样器最大响应时间（ok.count和ko.count的最大值）
.a.avg：采样器平均响应时间（ok.count和ko.count的平均值）
.a.pct：采样器响应百分比（根据和失败样本的总数计算）

Backend Listener的默认百分位设置为“90;95;99”，即百分位数为90％，95％和99％。
Graphite使用点（“.”）去拆分的元素，这可能与十进制百分位值混淆。JMeter转换任何此类值，用下划线（“ - ”）替换点（“.”）。例如，“99.9 ”变为“99_9 ”
默认情况下，JMeter发送在samplerName“all”下累计的所有采样器的指标。 如果配置了 BackendListenerSamplersList，那么JMeter还会发送匹配样本名称的指标，前提是配置 summaryOnly=true

压测中的效果
image.png

五、导入Dashboard模版

如果让大家去设计一个好看的Dashboard，估计大家都不太想从零开始自己设计，其实Grafana官网提供丰富的模版的库，大家可以自己上去找，然后进行二次扩展。

官网模版库：https://grafana.com/dashboards

搜索看板模版
image.png

此处，我选择下载这个下载量3000+的模版
image.png

下模版JSON文件
image.png

导入模版
image.png

image.png

选择数据源
image.png

JMeter Backend Listener设置
image.png

压测期间的效果
image.png

至此，我初步打造的压测可视化实时监控大功告成~?

文章标签：
可观测可视化 Grafana 版
性能测试
时序数据库
测试技术
数据库
数据可视化
监控
关键词：
性能测试工具
性能测试jmeter
性能Jmeter
性能性能测试
性能测试性能
相关实践学习
通过可观测可视化Grafana版进行数据可视化展示与分析
使用可观测可视化Grafana版进行数据可视化展示与分析。
zuozewei
目录
相关文章
东方睿赢
|
2月前
|
测试技术 数据库 UED
Python 性能测试进阶之路：JMeter 与 Locust 的强强联合，解锁性能极限
【9月更文挑战第9天】在数字化时代，确保软件系统在高并发场景下的稳定性至关重要。Python 为此提供了丰富的性能测试工具，如 JMeter 和 Locust。JMeter 可模拟复杂请求场景，而 Locust 则能更灵活地模拟真实用户行为。结合两者优势，可全面评估系统性能并优化瓶颈。例如，在电商网站促销期间，通过 JMeter 模拟大量登录请求并用 Locust 模拟用户浏览和购物行为，可有效识别并解决性能问题，从而提升系统稳定性和用户体验。这种组合为性能测试开辟了新道路，助力应对复杂挑战。
东方睿赢
107 2
光明顶阳顶天
|
4天前
|
监控 网络协议 Java
一些适合性能测试脚本编写和维护的工具
一些适合性能测试脚本编写和维护的工具
光明顶阳顶天
17 2
程序员小海绵
|
2月前
|
缓存 Java 测试技术
谷粒商城笔记+踩坑（11）——性能压测和调优，JMeter压力测试+jvisualvm监控性能+资源动静分离+修改堆内存
使用JMeter对项目各个接口进行压力测试，并对前端进行动静分离优化，优化三级分类查询接口的性能
程序员小海绵
94 10
谷粒商城笔记+踩坑（11）——性能压测和调优，JMeter压力测试+jvisualvm监控性能+资源动静分离+修改堆内存
路边两盏灯
|
3月前
|
消息中间件 Kafka 测试技术
【Azure 事件中心】使用Kafka的性能测试工具(kafka-producer-perf-test)测试生产者发送消息到Azure Event Hub的性能
【Azure 事件中心】使用Kafka的性能测试工具(kafka-producer-perf-test)测试生产者发送消息到Azure Event Hub的性能
路边两盏灯
55 2
众所周知
|
3月前
|
监控 Java 测试技术
实战派必看！Python性能测试中，JMeter与Locust如何助力性能调优
【8月更文挑战第6天】性能优化是软件开发的关键。本文介绍JMeter与Locust两款流行性能测试工具，演示如何用于Python应用的性能调优。JMeter可模拟大量用户并发访问，支持多种协议；Locust用Python编写，易于定制用户行为并模拟高并发。根据场景选择合适工具，确保应用在高负载下的稳定运行。
众所周知
132 4
东方睿赢
|
3月前
|
测试技术 数据库 UED
Python 性能测试进阶之路：JMeter 与 Locust 的强强联合，解锁性能极限
【8月更文挑战第6天】在数字化时代，确保软件在高并发下的稳定性至关重要。Python 提供了强大的性能测试工具，如 JMeter 和 Locust。JMeter 可配置复杂请求场景，而 Locust 则以 Python 脚本灵活模拟真实用户行为。两者结合，可全面评估系统性能。例如，对电商网站进行测试时，JMeter 模拟登录请求，Locust 定义浏览和购物行为，共同揭示系统瓶颈并指导优化，从而保证稳定高效的用户体验。
东方睿赢
101 1
zuozewei
|
3月前
|
数据采集 监控 Unix
性能监控之Telegraf+InfluxDB+Grafana实现结构化日志实时监控
【8月更文挑战第1天】性能监控之Telegraf+InfluxDB+Grafana实现结构化日志实时监控
zuozewei
330 0
香吧香
|
4月前
|
测试技术 Linux
linux 服务器运行jmeter 进行服务性能压测
linux 服务器运行jmeter 进行服务性能压测
香吧香
397 0
香吧香
|
4月前
|
Java 测试技术
用代码模拟调用接口方式压测现网服务器的服务性能
用代码模拟调用接口方式压测现网服务器的服务性能
香吧香
35 0
霍格沃兹测试开发muller老师
|
4月前
|
监控 数据可视化 测试技术
性能测试：性能测试流程与方法
**性能测试流程与方法概述：** 本文介绍了性能测试的关键步骤，包括现状分析、指标获取、用户场景定义、验收标准设定、测试计划编写、压力环境准备、执行压测、监控、结果分析、报告编写及改进建议。测试方法涉及并发模式（虚拟用户）和RPS模式（吞吐量），确保系统在不同负载下的稳定性和效率。
霍格沃兹测试开发muller老师
108 0

热门文章

最新文章

  • 1
    DRDS性能评估之Jmeter使用
  • 2
    Jmeter和JDK下载安装及环境变量配置详细教程
  • 3
    又一次对Jmeter TCP Sampler实现的小改动
  • 4
    devops-在jenkins-slave(k8s)中集成Jmeter使用
  • 5
    jmeter测试教程
  • 6
    jmeter HMAC_SHA1加密并输出hex,base64的值
  • 7
    JMeter专题系列（三）元件的作用域与执行顺序
  • 8
    jmeter接口测试_HS
  • 9
    JMeter入门(2)：一个简单实例
  • 10
    Jmeter参数化
  • 1
    Prometheus+Grafana主机运行数据
    43
  • 2
    Prometheus+Grafana 部署
    136
  • 3
    性能监控神器Prometheus、Grafana、ELK 在springboot中的运用
    332
  • 4
    时序数据库工具grafana里的$timeFilter查询1个小时内的数据如何写查询条件
    645
  • 5
    k8s部署grafana beyla实现app应用服务依赖图可观测
    73
  • 6
    性能监控之Telegraf+InfluxDB+Grafana实现JMX实时监控
    199
  • 7
    性能监控之Telegraf+InfluxDB+Grafana window服务器安装使用
    181
  • 8
    基于Prometheus和Grafana的监控平台 - 环境搭建
    114
  • 9
    性能监控之Telegraf+InfluxDB+Grafana NVIDIA GPU实时监控
    142
  • 10
    搭建数据分析系统 Grafana 详细指南
    150

    • 相关课程

    更多
  • 最新大版本解读：Grafana 10 新特性 & 新能力
  • 性能测试PTS产品介绍
  • 可观测Grafana入门课程
  • 基于MongoDB构建实时日志分析平台
  • 日志服务 SLS 可观测数据分析平台介绍
  • 阿里云实时数仓实战 - 数据生成及采集

    • 相关电子书

    更多
  • 上云时代业务压测和诊断最佳实践
  • 超大规模性能测试的云端方案及案例分享
  • Cassandra 性能压测及调优实战

    • 相关实验场景

    更多
  • 在SAE控制台极速部署个人LLM效能工具
  • 基于Hologres轻量实时的高性能OLAP分析
  • 快速搭建移动端可视化看板
  • 基于OpenTelemetry构建全链路追踪与监控
  • 使用CloudLens采集PolarDB日志并进行审计分析
  • 基于Flink+Tair搭建实时监控大屏

    • 推荐镜像

    更多
  • grafana
  • kubernetes
  • docker-toolbox
    • 下一篇
    阿里云OSS设置跨域访问