OceanBase 2.2 体验:用JMeter测试OceanBase性能

本文涉及的产品
性能测试 PTS,5000VUM额度
简介: 本文介绍使用JMeter测试OceanBase性能的方法。 这个方法适用于所有关系数据库(包括分布式的)。

本文介绍使用JMeter测试OceanBase性能的方法。

这个方法适用于所有关系数据库(包括分布式的)。

测试方法。

在前文《分布式数据库选型测试(一)——测试需求》里已经就数据库性能对比测试的方法做过总结,这里再补充一些内容。

测试OceanBase集群性能的方法有很多,如sysbench、benchmarksql。不过如果想对比OceanBase数据库跟传统数据库、其他友商分布式数据库产品的性能差异,还需要找到一个能适用彼此的测试方案。sysbench的功能太弱,且只有0.4 支持ORACLE,不同版本的sql还不完全一样。benchmarksql倒是很合适,有一定业务模型,内部复杂但是评测标准简单,容易统一比较。不过如果客户还想测试一点点业务sql,那就只能自己写程序了。如果嫌写程序麻烦,还有个简单的办法就是使用JMeter。

数据库驱动

使用JMeter测试OceanBase性能的时候也需要加载OceanBase的Java驱动。文件可以从官网的下载文件中获取,或者从这个途径:
https://github.com/obpilot/benchmarksql-5.0/blob/master/lib/oracle/oceanbase-client-1.0.9.jar

下载的oceanbase-client-1.0.9.jar需要放到Jmeter的lib文件夹夹中。

业务场景定义

建表语句

请在OB-ORACLE租户下业务账户执行下面SQL 。

$obclient -h127.1 -utpcc@obbmsql#obdemo -P2883 -p123456 -c -A tpcc

CREATE TABLE account(id number NOT NULL PRIMARY KEY
    , name varchar2(50) NOT NULL UNIQUE 
    , value number NOT NULL
    , gmt_create date DEFAULT sysdate NOT NULL 
    , gmt_modified date DEFAULT sysdate NOT NULL  );
    
CREATE SEQUENCE seq_account START WITH 1 INCREMENT BY 1 nocycle;

delimiter /
CREATE OR REPLACE TRIGGER trg_before_ins_account
BEFORE INSERT 
ON account
FOR EACH ROW  
BEGIN 
    select seq_account.nextval INTO :NEW.id FROM DUAL ;
END;
/
delimiter ; 

示例中的触发器和序列不是必须的。这只是一种常用的用法。ORACLE租户的序列能保证值递增(序列属性是NOCYCLE),但不一定保证连续(事务回滚时会浪费序列值)。这里的测试案例期望产生的测试数据是连续的。

造连续自增的测试数据的方法就不说了。

场景SQL

此次测试模拟一个分布式事务,SQL类似如下:

-- session  
begin ;
select value from account where id = 174 for update ;
update account set  value = value - 7 , gmt_modified = sysdate where id = 174 ;
update account set  value = value + 7 , gmt_modified = sysdate where id = 165 ;
-- commit or rollback;
commit;

新建JMeter测试计划

JMeter能在命令行下运行,也可以以图形界面运行。这里我简单点直接用图形界面这种方式。

新建测试计划

测试计划属性

15847798056795

新建 Thread-Group

15847798711697

这里有很多跟多线程运行有关的JMeter参数,具体说明可以查看JMeter官网文档。
注意这里的Number of Threads是指压测的客户端线程数。

JDBC连接属性

15848380171617

这里面属性很多,都是一个连接池常具备的参数。有兴趣的可以看看网上关于Java连接池配置的经验。

这里面也有几个参数强调一下:

  • Max Number of Connections:这个指连接池里最多多少个连接。如果压测线程数远高于这个值,那么压测线程可能会需要等待这个连接池创建或返还数据库连接(即到OceanBase的连接)给它。如果等不到可能会报错。在这个环节,客户端压测线程拿不到连接,不一定跟OceanBase数据库有直接关系。在Java应用里面也同理。
    Transaction Isolation:这个是数据库连接使用的事务隔离级别,OceanBase支持两种事务隔离级别:读已提交(Read-Committed)和序列化(Serializable)。前者很常见容易理解,后者是ORACLE特有隔离级别,OceanBase也兼容了。有兴趣的可以看看《OceanBase事务引擎特性和应用实践分享》。理解序列化隔离级别的特点和场景可以加深自己对数据库事务的理解。
  • Test While Idle:这个是连接探活(keepalive)设置。这个设置对应用却很优必要。有时候应用会说数据库连接报错说在一个关闭的连接上执行SQL报错,这个就是因为连接池中的数据库连接因为其他原因已断开了。所以,数据库连接池通常都需要探活机制。这里由于是压测场景基本无闲置连接,所以可以设置为False。
    Database URL:数据库连接URL格式,直接类似填写 jdbc:oceanbase://11.166.87.5:2883/tpcc 。
  • JDBC Driver Class:数据库驱动中的Main类名,这个要按OceanBase格式填写,com.alipay.oceanbase.obproxy.mysql.jdbc.Driver。
    Username:用户格式,OceanBase的用户名格式比较特别,是租户里用户名@租户名#集群名或集群名:租户名:租户里用户名。如 tpcc@obbmsql#obdemo

事务参数(变量)

在这个测试里,有三个变量:账户A,账户B,转账金额,所以需要设置参数。

15847856661453

账户参数和金额采取随机数,随机数的值不要超出测试数据实际范围。

事务控制器

这里面是维护每个事务的逻辑。事务由一组JDBC请求组成。

开启事务

15847810253110

选择 Autocommit(false),开启显式事务。

查询账户A的余额

这里查询账户A的记录会同时锁住这笔记录,即常用的悲观锁技术。这一步看测试需要,不是必需的。

select value from account where id = ? for update ;

15847852394348

注意所有参数都使用 Prepared Statement,以下同。

这一步后面按业务设计应该检查一下返回值是否大于要转账的值,如果不满足就是“转账余额不足”。这里我没有去研究JMeter如果根据查询返回值进行逻辑判断。有兴趣的朋友可以自己研究。

扣减账户A的余额

SQL很简单。

update account set  value = value - ? , gmt_modified = sysdate where id = ? ;

15847853936218

多个绑定参数使用逗号(,)分隔。

然后要新增一个Post处理逻辑,获取更新返回值

15847854836534

增加账户B的余额

SQL很简单。

update account set  value = value + ? , gmt_modified = sysdate where id = ? ;

15847857206738

同样,需要增加一个Post处理器

15847857858980

判断逻辑——成功流程

如果上面两笔账户的更新成功,则提交事务。

新增判断控制 IF

15847858525132

新增动作

15847860017082

判断逻辑——失败流程

如果上面两笔账户的更新有一笔失败,则回滚事务。

新增判断控制 IF

15847859478920

新增动作

15847859751936

查看结果细节

可以查看成功、失败的结果

15847861075504

查看汇总报告

15847861285271

15847861581557

数据库SQL审计

在业务租户下的sys用户下,利用OceanBase的SQL审计功能可以查看JMeter发出的测试SQL细节。在这个里面可以看到SQL的执行细节(错误码、耗时、等待事件之类),对分析性能结果非常有帮助。

select /*+ read_consistency(weak) query_timeout(1000000000) */ TO_CHAR(request_time / (1000000 * 60 * 60 * 24) + TO_DATE('1970-01-01 08:00:00', 'YYYY-MM-DD HH:MI:SS'), 'HH24:MI:SS')  request_time_,  sid ,query_sql, affected_rows,return_rows, ret_code, event, state, plan_type,is_hit_plan, elapsed_time, execute_time, queue_time, decode_time, get_plan_time, block_cache_hit, bloom_filter_cache_Hit, block_index_cache_hit, disk_reads,retry_cnt,table_scan, memstore_read_row_count, ssstore_read_row_count, round(request_memory_used/1024/1024) req_mem_mb
from gv$sql_audit
where 1=1 AND user_name='TPCC' AND DB_NAME='TPCC' AND query_sql NOT LIKE '%SHOW%'
order by request_time desc ;

15847863004207

其他

这个测试场景和方法虽然简单,但实际测试中可能会遇到一些问题。分析这些问题也可以了解OceanBase的特点。
如果测试数据记录数很少,使用一定的并发压测,很容易就出现锁等待和阻塞现象。这个时候看报告会发现update的延时会增加,甚至rollback的事件会增加。如果默认的锁等待时间和事务超时时间很长,可能发现update都堵在那里,会有很多死锁事件。详情请参见《从ORACLE/MySQL到OceanBase:数据库超时机制》。

参考

相关实践学习
通过性能测试PTS对云服务器ECS进行规格选择与性能压测
本文为您介绍如何利用性能测试PTS对云服务器ECS进行规格选择与性能压测。
目录
相关文章
|
8天前
|
测试技术 数据库 UED
Python 性能测试进阶之路:JMeter 与 Locust 的强强联合,解锁性能极限
【9月更文挑战第9天】在数字化时代,确保软件系统在高并发场景下的稳定性至关重要。Python 为此提供了丰富的性能测试工具,如 JMeter 和 Locust。JMeter 可模拟复杂请求场景,而 Locust 则能更灵活地模拟真实用户行为。结合两者优势,可全面评估系统性能并优化瓶颈。例如,在电商网站促销期间,通过 JMeter 模拟大量登录请求并用 Locust 模拟用户浏览和购物行为,可有效识别并解决性能问题,从而提升系统稳定性和用户体验。这种组合为性能测试开辟了新道路,助力应对复杂挑战。
24 2
|
3天前
|
缓存 Java 测试技术
谷粒商城笔记+踩坑(11)——性能压测和调优,JMeter压力测试+jvisualvm监控性能+资源动静分离+修改堆内存
使用JMeter对项目各个接口进行压力测试,并对前端进行动静分离优化,优化三级分类查询接口的性能
谷粒商城笔记+踩坑(11)——性能压测和调优,JMeter压力测试+jvisualvm监控性能+资源动静分离+修改堆内存
|
5天前
|
移动开发 JSON Java
Jmeter实现WebSocket协议的接口测试方法
WebSocket协议是HTML5的一种新协议,实现了浏览器与服务器之间的全双工通信。通过简单的握手动作,双方可直接传输数据。其优势包括极小的头部开销和服务器推送功能。使用JMeter进行WebSocket接口和性能测试时,需安装特定插件并配置相关参数,如服务器地址、端口号等,还可通过CSV文件实现参数化,以满足不同测试需求。
27 7
Jmeter实现WebSocket协议的接口测试方法
|
7天前
|
测试技术 持续交付 Apache
Python性能测试新风尚:JMeter遇上Locust,性能分析不再难🧐
【9月更文挑战第10天】随着软件应用的不断扩展,性能测试成为确保系统稳定运行的关键环节。本文通过对比Apache JMeter和Locust,探讨了如何在Python环境中利用这两款工具挖掘更多性能测试潜力。JMeter是一款成熟且功能强大的开源工具,支持多种协议,适用于各种应用的测试;而Locust则基于Python,通过简单脚本模拟HTTP请求,更适合Web应用测试。
15 2
|
11天前
|
存储 Java 关系型数据库
“代码界的魔法师:揭秘Micronaut框架下如何用测试驱动开发将简单图书管理系统变成性能怪兽!
【9月更文挑战第6天】Micronaut框架凭借其轻量级和高性能特性,在Java应用开发中备受青睐。本文通过一个图书管理系统的案例,介绍了在Micronaut下从单元测试到集成测试的全流程。首先,我们使用`@MicronautTest`注解编写了一个简单的`BookService`单元测试,验证添加图书功能;接着,通过集成测试验证了`BookService`与数据库的交互。整个过程展示了Micronaut强大的依赖注入和测试支持,使测试编写变得更加高效和简单。
26 4
|
12天前
|
缓存 测试技术 Apache
告别卡顿!Python性能测试实战教程,JMeter&Locust带你秒懂性能优化💡
【9月更文挑战第5天】性能测试是确保应用在高负载下稳定运行的关键。本文介绍Apache JMeter和Locust两款常用性能测试工具,帮助识别并解决性能瓶颈。JMeter适用于测试静态和动态资源,而Locust则通过Python脚本模拟HTTP请求。文章详细讲解了安装、配置及使用方法,并提供了实战案例,帮助你掌握性能测试技巧,提升应用性能。通过分析测试结果、模拟并发、检查资源使用情况及代码优化,确保应用在高并发环境下表现优异。
37 5
|
9天前
|
消息中间件 监控 测试技术
惊呆了!Python性能测试高手都用这些神器:JMeter+Locust,效率翻倍📈
【9月更文挑战第8天】在软件开发中,性能测试对确保应用稳定性和高效运行至关重要。对于Python开发者而言,选择合适的性能测试工具能显著提升测试效率并精准定位性能瓶颈。本文深入探讨了JMeter和Locust这两款工具的独特优势。JMeter作为跨平台的性能测试工具,支持多种协议,具备高度可定制性和扩展性;而Locust则专为Python应用设计,利用协程实现高并发,提供实时监控和分布式测试功能。两者结合使用,可在实际项目中实现1+1>2的效果,帮助开发者构建全面高效的测试方案,保障应用稳定运行。
33 1
|
11天前
|
测试技术 Apache 数据库
从慢如蜗牛到飞一般的感觉!Python性能测试实战,JMeter&Locust助你加速🏃‍♂️
【9月更文挑战第6天】你的Python应用是否曾因响应缓慢而让用户望而却步?借助JMeter与Locust,这一切将迎刃而解。JMeter作为Apache基金会的明星项目,以其强大的跨平台和多协议支持能力,成为性能测试领域的魔法师;而Locust则以Python的简洁与高效,让性能测试更加灵活。通过实战演练,你可以利用这两款工具轻松识别并解决性能瓶颈,优化数据库查询、网络配置等,最终使应用变得敏捷高效,轻松应对高并发挑战。
11 1
|
13天前
|
测试技术 持续交付 Apache
性能测试不再愁!Python+JMeter+Locust,三步打造高性能应用
【9月更文挑战第4天】随着互联网的发展,软件性能成为衡量应用成功的关键。性能测试确保应用稳定高效运行,但复杂环境和多样需求带来了挑战。Python、JMeter和Locust三款工具可构建高效全面的性能测试方案。Python语法简洁,库丰富;JMeter提供图形界面,支持多种协议;Locust基于Python,简单易用且高度可扩展。结合三者,能满足复杂需求,保证灵活性与高效性。无论初学者还是资深工程师,都能确保应用高性能运行。
21 1
|
17天前
|
存储 SQL 分布式数据库
OceanBase 入门:分布式数据库的基础概念
【8月更文第31天】在当今的大数据时代,随着业务规模的不断扩大,传统的单机数据库已经难以满足高并发、大数据量的应用需求。分布式数据库应运而生,成为解决这一问题的有效方案之一。本文将介绍一款由阿里巴巴集团自主研发的分布式数据库——OceanBase,并通过一些基础概念和实际代码示例来帮助读者理解其工作原理。
66 0