使用kafka自带脚本进行压力测试

简介: 使用kafka自带脚本进行压力测试

前言

kafka官方自带压力测试脚本:

  • 消费者压力测试:kafka-consumer-perf-test.sh
  • 生产者压力测试:kafka-producer-perf-test.sh

测试节点:

  • 172.50.13.103
  • 172.50.13.104
  • 172.50.13.105

生产者压力测试

/home/web/kafka/bin/kafka-producer-perf-test.sh --topic test --record-size 100 --num-records 100000 --throughput -1 --producer-props bootstrap.servers=172.50.13.103:9092,172.50.13.104:9092,172.50.13.105:9092

命令参数说明:

  • --topic:主题名
  • --record-size:单条消息的数据大小,单位字节
  • --num-records:总消息数
  • --throughput:每秒消息数,-1表示不限制
  • bootstrap.servers:节点和端口

结果:

100000 records sent, 42337.002540 records/sec (40.38 MB/sec), 465.00 ms avg latency, 1121.00 ms max latency, 392 ms 50th, 1023 ms 95th, 1110 ms 99th, 1120 ms 99.9th.

结果说明:

  • 吞吐量:40.38 MB/sec
  • 每次写入的平均延迟:465.00 ms
  • 最大延迟:1121.00 ms

将近0.5秒的写入延迟,算是比较低的性能了。

消费者压力测试

/home/web/kafka/bin/kafka-consumer-perf-test.sh --broker-list 172.50.13.103:9092,172.50.13.104:9092,172.50.13.105:9092 --topic=test --fetch-size 10000 -messages 100000 --threads 1

命令参数说明:

  • --fetch-size:指定每次fetch的数据的大小
  • --messages:总共要消费的消息个数

结果:

start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec
2021-04-27 15:35:34:005, 2021-04-27 15:35:35:429, 13.6017, 9.5517, 100000, 70224.7191, 1619508934406, -1619508932982, -0.0000, -0.0001

结果说明:

  • 共消费数据13.6017 MB
  • 吞吐量:9.5517 MB/sec
  • 总共消费消息量:100000
  • 平均每秒消费:70224.7191 nMsg/Sec

平均每秒消费数也比较低。

相关文章
|
3月前
|
测试技术 Linux
VPS一键测试脚本,无痕体验+自动导出,服务器测试更轻松
NodeQuality 是一款整合 Yabs、IPQuality、NetQuality 等主流 VPS 测试脚本的全能工具,支持一键测试硬件性能、IP属性、网络质量,并新增分享与导出功能。其“无痕测试”设计不安装依赖、不留残留,兼容性强;测试结果自动排版、截图并生成分享链接,极大提升效率。适合需要全面、快速、干净测试 VPS 的用户,是运维和测评的高效利器。
250 3
|
3月前
|
存储 测试技术 API
数据驱动开发软件测试脚本
今天刚提交了我的新作《带着ChatGPT玩转软件开发》给出版社,在写作期间跟着ChatGPT学到许多新知识。下面分享数据驱动开发软件测试脚本。
117 0
|
5月前
|
Web App开发 JavaScript 测试技术
Playwright 极速入门:1 小时搞定环境搭建与首个测试脚本
本文带你1小时快速入门Playwright,完成环境搭建并编写首个测试脚本。Playwright是微软推出的现代化Web自动化测试工具,支持Chromium、Firefox和WebKit三大浏览器引擎,具备跨平台、多语言(Python/JS/Java/C#)特性。其核心优势包括:智能自动等待机制减少失败率、内置录制工具实时生成脚本、多语言灵活选择,以及真移动端设备模拟能力,显著提升测试效率和可靠性。
|
Java Shell
「sh脚步模版自取」测试线排查的三个脚本:启动、停止、重启、日志保存
「sh脚步模版自取」测试线排查的三个脚本:启动、停止、重启、日志保存
202 1
|
11月前
|
前端开发 JavaScript 测试技术
使用ChatGPT生成登录产品代码的测试用例和测试脚本
使用ChatGPT生成登录产品代码的测试用例和测试脚本
303 35
|
11月前
|
前端开发 JavaScript Java
通过ChatGPT生成测试用例和测试脚本(2)
通过ChatGPT生成测试用例和测试脚本
299 21
|
监控 网络协议 Java
一些适合性能测试脚本编写和维护的工具
一些适合性能测试脚本编写和维护的工具
484 59
|
存储 监控 前端开发
如何确保测试脚本的稳定性和可靠性?
确保测试脚本的稳定性和可靠性是保证性能测试结果准确有效的关键
357 58
|
存储 监控 测试技术
测试脚本编写和维护的最佳实践有哪些?
测试脚本编写和维护的最佳实践有哪些?
350 50
|
12月前
|
消息中间件 Java Kafka
【手把手教你Linux环境下快速搭建Kafka集群】内含脚本分发教程,实现一键部署多个Kafka节点
本文介绍了Kafka集群的搭建过程,涵盖从虚拟机安装到集群测试的详细步骤。首先规划了集群架构,包括三台Kafka Broker节点,并说明了分布式环境下的服务进程配置。接着,通过VMware导入模板机并克隆出三台虚拟机(kafka-broker1、kafka-broker2、kafka-broker3),分别设置IP地址和主机名。随后,依次安装JDK、ZooKeeper和Kafka,并配置相应的环境变量与启动脚本,确保各组件能正常运行。最后,通过编写启停脚本简化集群的操作流程,并对集群进行测试,验证其功能完整性。整个过程强调了自动化脚本的应用,提高了部署效率。
2625 1
【手把手教你Linux环境下快速搭建Kafka集群】内含脚本分发教程,实现一键部署多个Kafka节点