开发人员学Linux(4):使用JMeter对网站和数据库进行压力测试

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介:

前言
表面看来,JMeter与本系列课程似乎关系不大,但实际上在后面的很多场景中起着重要作用:如何获知修改了某些代码或者设置之后系统性能是提升了还是下降了呢?商业的压力测试工具LoadRunner确实很高大上,但是据说费用也不便宜且体积也不小,而目前最高版本的开源免费压力测试工具JMeter3.2压缩包体积才不到53M,而且对于开发人员而非专业测试人员来说,JMeter提供的测试功能已经够强大了。要完整地介绍JMeter,即使把JMeter自带的文档翻译成中文就是一本厚厚的书了。但是在本篇只讲述如何利用JMeter来对Web网站和数据库进行压力测试,因为测试场景的复杂性,本篇实例讲述基于csv文件的参数化测试。
JMeter提供了对不同的协议、服务器及应用的测试支持,如下:
Web – 各种开发语言开发出的网站,比如ASP/ASP.NET/JSP/PHP/Python/Perl等
SOAP / REST Webservices
FTP
Database via JDBC(基于JDBC对数据库进行压力测试)
LDAP
Message-oriented middleware (MOM) via JMS
Mail - SMTP(S), POP3(S) and IMAP(S)
Native commands or shell scripts
TCP
Java Objects
还是那句话:本篇只讲述对Web网站和基于JDBC对数据库进行压力测试。

软件准备
JMeter3.2:为保持与本文有比较好的对照,建议从官网下载3.2版本,下载地址:http://jmeter.apache.org/[preferred]/jmeter/binaries/apache-jmeter-3.2.zip
此软件解压后即可使用。
Tomcat8.5:本实例中的关于Web网站的压力测试都是基于Tomcat8.5的,下载地址:http://mirror.bit.edu.cn/apache/tomcat/tomcat-8/v8.5.15/bin/apache-tomcat-8.5.15.tar.gz
如果嫌麻烦,可以直接在上一篇《开发人员学Linux(3):CentOS7中安装JDK8和Tomcat8》的环境中进行。
MySQL Community Server5.7:本篇中将以MySQL为例讲述如何对数据库进行压力测试,实际上本篇对MySQL版本没有要求,但后来今后,还是建议下载5.7版本,下载地址:https://dev.mysql.com/downloads/mysql/,同时请下载MySQL的JDBC驱动。
注意:本篇中JMeter在Windows下运行,MySQL数据库及Tomcat服务器均在CentOS7下运行。
使用JMeter对一般性网站进行压力测试
为便于演示,这里以上一篇《开发人员学Linux(3):CentOS7中安装JDK8和Tomcat8》中搭建起来的环境进行压力测试,本人的虚拟机支持桥接模式,IP地址为:192.168.60.198,在Tomcat中有一个简单的提交表单,网址是:http://192.168.60.198:8080/examples/servlets/servlet/RequestParamExample,页面如下图所示:
wKiom1kxiAiwLvKbAABT6Z6HfD0847.png-wh_50 
该页面中有一个Form,查看页面源代码可知该Form提交给当前Servlet,且有两个字段,分别为:firstname和lastname,如下图所示:
wKioL1kxiBrTPu8fAAC3ElPt2K4231.png-wh_50  
下面讲述创建相关的JMeter元素。
1.运行JMeter
首先运行在解压后的JMeter目录下的bin目录找到jmeter.bat来运行JMeter(重要的事情再说一遍:本篇中JMeter在Windows下运行,MySQL数据库及Tomcat服务器均在CentOS7下运行),JMeter支持多种语言,包括中文(其实对中文的支持不彻底),而在中文环境下JMeter的默认语言是中文,因为考虑到必要时候还需要看JMeter目录下的printable_docs目录中的文档,而这里的文档全是英文的,所以我将它设置为英文,如下图所示:
wKioL1kxiC7w62nBAACs3wzzi6o859.png-wh_50 
这是设置为英文之后的界面:
wKiom1kxiD6BblfRAAC2qA4Yzog047.png-wh_50 
2.向“测试计划”添加必要的元素。    
添加测试计划的必要元素的顺序为:ThreadGroup->HTTPRequest->Listener。实际上还应包含TestPlan(测试计划),因创建时默认会创建一个TestPlan,故添加TestPlan的步骤可省略。
2.1添加ThreadGroup
如下图所示:

wKiom1kxiFzhkQqZAACsGAabW84733.png-wh_50


2.2添加HTTP Request Defaults
在ThreadGroup元素上鼠标右键,”Add”-“Config Element”-“HTTP Request Defaults”,HTTP Request Defaults适合于在一个ThreadGroup里面有大量的HTTP Request的情况,很多情况下HTTP Request的一些配置是相同的,那么只需要在HTTP Request Defaults中设置好即可,无需在每个HTTP Request中单独设置,添加HTTP Request Defaults的界面如下图所示:
 

wKioL1kxiFzwRH4jAAE01ZDsN1g528.png-wh_50

2.3添加HTTP Request
在ThreadGroup元素上鼠标右键,通过”Add”-“Sampler”-“HTTP Request”来添加HTTP Request。
 

wKioL1kxiF3yMpqFAAE1pmZrO_o234.png-wh_50

2.4添加Listener
在ThreadGroup元素上鼠标右键,通过”Add”-“Listener”来添加Listener,在这里根据需要添加Listener,本人一般会添加如下Listener:
Summary Report:可以对测试的结果有一个概要了解,结果中包含了测试次数、平均/最大/最小响应时间、并发吞吐量、接收/发送的字节数等信息;
View Result Tree:由于默认情况下判断某个测试是否成功是以是否收到了内容来判断的,比如请求某个需要授权的页面,如果未授权则会被导向到登录页面,在JMeter看来未发生40X、50X这类HTTP Code的错误则仍会被当做测试结果正确,加View Result Tree后就可以看到客户端和服务器端发送及响应的数据。
View Results in Table:和Summary Report类似,但侧重点不同。
 

wKiom1kxiKqguQdVAAFOWJbcmUQ361.png-wh_50





2.5添加CSV Data Set Config
前面的form表单中可以看出需要firstname和lastname两个值,我们可以直接分别指定固定的值,也可以设定从csv文件中数据中的一系列符合要求的值。
在ThreadGroup元素上鼠标右键,通过”Add”-“Config Element”-“CSV Data Set Config”来添加CSV Data Set Config。
 

wKioL1kxiKui2bh5AAFg-fjQqqE838.png-wh_50

2.6参数配置
按照上述步骤创建的TestPlan最终效果如下图所示:
 

wKiom1kxiKvRekSTAACOBV2p2kw883.png-wh_50

在这里再次强调一下,我们测试的是安装在CentOS7中的Tomcat8自带的实例程序,CentOS7虚拟机采用桥接方式,IP地址为192.168.60.198,请求的URL地址为:http://192.168.60.198:8080/examples/servlets/servlet/RequestParamExample

HTTP Request Defaults的配置信息如下图:
 

wKioL1kxiKyjR6VJAACI6iWaxwM645.png-wh_50

CSV Data Set Config的配置信息如下图:
 

wKioL1kxiQexREU7AAB-uS5YhOw357.png-wh_50



注意:在这里提到了一个名为Tomcat_performance_test_parameter.csv的文件,这个文件和当前JMeter项目文件Tomcat-based-test-plan-JMeter3.2_Demo.jmx放在同一目录下。可以使用NotePad++之类的文本编辑软件创建这个文件,并将文件编码设置为utf-8,文件内容如下:
 

wKioL1kxiQfi-Ed_AAA7LqE0X8U735.png-wh_50

HTTP Request的配置信息如下图:
 

wKiom1kxiSihtVZpAACP2fsi6bY112.png-wh_50
Thread Group的配置信息
 

wKioL1kxiSmwFNpTAABv8FDfTDE521.png-wh_50

注意:为了便于展示结果,这个将测试次数改为100了。
2.7测试结果
执行完测试后即可在Listener中查看结果。
Summary Report界面

wKiom1kxiSmCDhn6AABLHkNgRT0413.png-wh_50

View Results in Table界面
 

wKioL1kxiWCBTTWXAAHxzVw-lBE136.png-wh_50
View Results Tree默认界面:
 

wKiom1kxiWGA6Rf6AAE2QVjVTD0583.png-wh_50

默认是以Text形式显示响应数据,如果响应数据是XML/JSON/HTML的话,可以更改为相对应的显示方式,这样更直观。在本例中以浏览器方式显示响应数据的界面如下:
 

wKiom1kxiWHhMG8PAAE6qtbzBf4458.png-wh_50


基于模板创建压力测试计划
前面讲述了一个简单但完整的HTTP Web压力测试例子,基本上大多数同一类型的压力测试总有一些共同的元素,为此可以使用模板来创建压力测试计划。
1.选择从模板创建压力测试计划,如下图:
 

wKiom1kxiZXy8vghAACh693KpWE111.png-wh_50


2.在弹出的对话框中选择”Building a Web Test Plan”,如下图所示:
 

wKioL1kxiZWTpd7kAACifcsyN9w300.png-wh_50

3.点击”Create”即可基于模板的压力测试项目的创建,如下图所示:
 

wKiom1kxiZbimXXNAAEovVnb5i4790.png-wh_50

然后根据我们自己的需要增加或删除一些元素,然后进行相应设置即可进行压力测试了。
使用JMeter对数据库进行压力测试
前面讲过JMeter支持多种压力测试,下面讲一下JMeter对数据库进行压力测试。
1.数据库准备
首先准备好需要进行压力测试的数据库,本次以本人以前学习爬虫时所使用的一个数据,基本信息如下:
数据库版本:mysql-5.1.58
数据库名:netskycn
查询用表名:ty_content(含748007条数据,2.2GB)。
ty_content的创建脚本如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
CREATE  TABLE  `ty_content` (
     `Id`  INT (11)  NOT  NULL  AUTO_INCREMENT,
     `ArticleId`  INT (11)  NOT  NULL ,
     `Content` MEDIUMTEXT  NOT  NULL ,
     `ContentHash`  VARCHAR (32)  NOT  NULL ,
     `CreateAt` DATETIME  NOT  NULL ,
     `IsVisible` TINYINT(1)  NULL  DEFAULT  '1' ,
     PRIMARY  KEY  (`Id`),
     UNIQUE  INDEX  `IDX_ContentHash` (`ContentHash`),
     INDEX  `IDX_ArticleId` (`ArticleId`)
)
COLLATE = 'utf8_general_ci'
ENGINE=MyISAM;

2.JDBC驱动准备
JDBC驱动可从各数据库厂商官网下载,这里本人已下载好的MySQL JDBC驱动mysql-connector-java-5.1.36.jar,将其复制到JMeter目录下的lib目录中。
3.创建TestPlan
可以基于模板创建JDBC Test Plan,如下图所示:
 

wKiom1kxieHQNLb9AAGuNPsWIik615.png-wh_50


4.修改配置信息
1.首先添加CSV Data Set Config,并且准备MySQL_JDBC_ArticleID.csv文件,MySQL_JDBC_ArticleID.csv内容如下:
 

wKioL1kxieGisbqWAAAkxX6Uj-g583.png-wh_50

在这个文件中共有6964条数据,它来自于ty_content表中ArticleId的统计(不含重复数据)。
CSV Data Set Config的配置信息如下:
 

wKiom1kxieLz5bKIAABbGo8WYxs424.png-wh_50

JDBC Connection Configuration配置信息如下:

wKioL1kxieKgqMDBAACRjV-XfL4764.png-wh_50

 
Thread Group配置信息如下:
 

wKiom1kxih2B8uAjAABErpm7flI964.png-wh_50


JDBC Request配置信息如下:
 

wKiom1kxih2jXTKlAABsSsnbHHk083.png-wh_50

最终测试效果:
 

wKioL1kxih7w2fDaAABFuAMgWtA444.png-wh_50


总结:
本篇讲述了如何使用JMeter来进行Web和数据库压力测试,为快速创建压力测试计划,可给予模板进行创建。可以看出一个JMeter压力测试计划必须包含如下元素:ThreadGroup、与压力测试计划对应的Request(如HTTP Request或JDBC Request)、Listener(可以根据需要添加多个Listener),并且为了减小缓存的影响,我们介绍了如何利用csv文件将测试中的参数信息保存起来。
本文未尽之处就是如何对需要身份验证的Web网站进行压力测试,对于带有验证码的需要在压力测试期间暂时禁用验证码功能。另外对于多种验证方式,所使用的方法也有区别,在这期间我试过针对性地对一些需要身份验证的网站建立压力测试计划,但没发现太多共性的东西,故在本篇中没有讲述这方面的内容,等后期有时间再总结整理这方面的内容。




















本文转自周金桥51CTO博客,原文链接: http://blog.51cto.com/zhoufoxcn/1931864,如需转载请自行联系原作者



相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
3月前
|
人工智能 数据可视化 API
10 分钟构建 AI 客服并应用到网站、钉钉或微信中测试评
10 分钟构建 AI 客服并应用到网站、钉钉或微信中测试评
108 2
|
2月前
|
数据库连接 网络安全 数据库
网站链接数据库失败,重启网站好了
网站链接数据库失败,重启网站好了
|
2月前
|
数据库连接 数据库 数据安全/隐私保护
网站初始化数据库错误
网站初始化数据库错误
|
2月前
|
关系型数据库 MySQL 数据库连接
如何处理WordPress网站提示“建立数据库连接时出错”
如何处理WordPress网站提示“建立数据库连接时出错”
|
2月前
|
数据库连接 网络安全 数据库
数据库网站连接错误怎么办?
数据库网站连接错误怎么办?
|
2月前
|
缓存 网络安全 数据库
数据库网站登录失败怎么办?
数据库网站登录失败怎么办?
|
2月前
|
应用服务中间件 数据库连接 网络安全
网站连接数据库配置错误
网站连接数据库配置错误
|
2月前
|
域名解析 网络协议 关系型数据库
网站打不开数据库错误等常见问题解决方法合集
网站打不开数据库错误等常见问题解决方法合集
|
2月前
locust网站压力测试软件
locust网站压力测试软件
44 0
|
3月前
|
监控 安全 Linux
如何利用Kali Linux进行网站渗透测试:最常用工具详解
如何利用Kali Linux进行网站渗透测试:最常用工具详解
132 6