大家好，我是小盒子。上次推文：Infinispan篇（一）：一个被遗忘了的分布式集群缓存系统。从各种姿势讲解了Infinispan部署，感受到了它强大的集群模式缓存。

今天的主题：如何对Infinispan进行压力测试？

一、前言

我们生产环境中Keycloak用的Infinispan的三节点分布式缓存，前段时间Infinispan的其中一个节点竟然莫名的挂了，差不多有一个月的时间了，由于其它两个节点健在，所以Keycloak服务并没受到影响。

二、日志分析

我们将挂了的节点的Infinispan的日志拷贝出来，进行分析，发现大量的java.lang.OutOfMemoryError: Java heap space，JVM堆内存溢出了。查看gc.log发现从11月25号-12月6号gc很频繁，且有大量的Full GC发生。如下所示：

通过Infinispan部署目录/bin/server.conf中看到，其默认的JAVA_OPTS如下：

JAVA_OPTS="-Xms512m -Xmx512m -XX:MetaspaceSize=64M -Djava.net.preferIPv4Stack=true"
JAVA_OPTS="$JAVA_OPTS -Djava.awt.headless=true"

“

上面的JVM内存配置显然不足以支持我们Keycloak的会话存储。

”

三、压力测试

3.1 测试目的

为了搞清楚infinispan服务在高并发情况下的稳定性，并分析infinispan服务的日志，有无内存溢出的情况。

3.2 Infinispan部署说明

Infinispan采用集群模式，共有三个节点，如下：

192.168.0.201:11222
192.168.0.202:11222
192.168.0.203:11222

Version: Infinispan 'Triskaidekaphobia' 13.0.2.Final，同在线Keycloak使用同版本。

初始压测Infinispan JVM启动参数设置： JAVA_OPTS="-Xms64m -Xmx512m -XX:MetaspaceSize=64M -Djava.net.preferIPv4Stack=true

Infinispan部署服务器配置：

192.168.0.201 内存：11G(目前剩余可用内存8G)  磁盘：500G (目前剩余可用磁盘400G)  CPU: 4核
192.168.0.202 内存：11G(目前剩余可用内存3G)  磁盘：500G (目前剩余可用磁盘440G)  CPU: 4核
192.168.0.203 内存：11G(目前剩余可用内存5G)  磁盘：500G (目前剩余可用磁盘330G)  CPU: 4核

3.3 Keycloak部署说明

Version: 14.0.0

单节点部署，服务器配置:

192.168.0.201 内存：11G(目前剩余可用内存8G) 磁盘：500G (目前剩余可用磁盘400G) CPU: 4核
启动参数： -Xms1024M -Xmx2048M -XX:MaxPermSize=2048M -XX:MaxHeapSize=2048M

3.4 mysql部署说明

Version: 5.7.27

参数配置：

[mysqld]
character_set_server=utf8
init_connect='SET NAMES utf8'
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
max_allowed_packet=512M
innodb_log_file_size=2G
transaction-isolation=READ-COMMITTED
lower_case_table_names=1
innodb_file_per_table=1
[client]
default-character-set=utf8

3.5 测试方案

• 测试时间：2022.12.22-2022.12.28
• 压测工具：Apache JMeter5.5
• 用户账号：25个

压测环境说明：

测试工具部署地址：
     Master：192.168.0.1
     Slave1：192.168.0.2
     Slave2：192.168.0.3
     Slave3：192.168.0.4
     Slave4：192.168.0.5
压测kc接口地址：192.168.0.201
服务器配置：磁盘：500G (目前剩余可用磁盘400G) CPU: 4核

压测接口：

密码登录：/auth/realms/fabao/protocol/openid-connect/token
查看token是否在线：/auth/realms/fabao/protocol/openid-connect/token/introspect

“

接口说明：查看token是否在线接口依赖于密码登录接口，参数token为上一接口返回值access_token

”

压测策略：

通过jmeter循环请求密码登录接口产生8w个会话，用Beanshell脚本把8w个token值存到本地，会话失效时间是1个月；
模拟增加线程数由每秒起30/60/90/100持续对8w个token是否在线进行持续压测，观察内存是否溢出，是否有其他报错；

“

我们Infinispan常驻会话大概8w多个。

”

3.6 测试场景记录

我主要分析了4次有效的压测记录。前面3次是调整Infinispan JVM启动参数之前。

1. 压测日期为2022.12.22

Infinispan中会话数8万+，压测kc在线状态接口，一台机器，并发30的情况下。截止2022.12.22日09:26到2022.12.22日16点。

192.168.0.201节点共gc了227次，其中Full GC了9次。
192.168.0.202节点共gc了234次，其中Full GC了9次。
192.168.0.203节点共gc了187次，其中Full GC了9次。

“

其中201、202、203节点server日志中除了infinispan Console 展示序列化的错误，无其他报错。kc服务日志中无报错。

”

2. 压测日期为2022.12.23

Infinispan中会话数8万+，压测kc在线状态接口，一台机器，并发60的情况下。截止2022.12.23日11点到2022.12.23日16点。

192.168.0.201节点共gc了2548次，其中Full GC了28次。
192.168.0.202节点共gc了2364次，其中Full GC了21次。
192.168.0.203节点共gc了2501次，其中Full GC了21次。

“

其中201、202、203节点server日志中除了infinispan Console 展示序列化的错误，无其他报错。kc服务日志中无报错。

”

3. 压测日期为2022.12.26

Infinispan中会话数8万+，压测kc在线状态接口，5台机器（每台机器并发60），并发300的情况下。截止2022.12.26日15:37到2022.12.26日16:30。

192.168.0.201节点共gc了72次，其中Full GC了3次，平均一分钟进行1次gc。
192.168.0.202节点共gc了77次，其中Full GC了4次，平均一分钟进行1次gc。
192.168.0.203节点共gc了67次，其中Full GC了2次，平均一分钟进行1次gc。

“

其中201、202、203节点server日志中除了infinispan Console 展示序列化的错误，无其他报错。kc服务日志中无报错。

”

4. 压测日期为2022.12.28

调整Infinispan JVM启动参数之后，JAVA_OPTS="-Xms2048m -Xmx2048m -XX:MetaspaceSize=512M -Djava.net.preferIPv4Stack=true。

Infinispan中会话数8万+，压测kc在线状态接口，5台机器（每台机器并发100），并发500的情况下。截止2022.12.27日18:19到2022.12.28日15:50。

192.168.0.201节点共gc了43次，其中Full GC了0次，平均约一个小时进行了一次gc
192.168.0.202节点共gc了43次，其中Full GC了0次，平均约一个小时进行了一次gc
192.168.0.203节点共gc了42次，其中Full GC了0次，平均约一个小时进行了一次gc

“

其中201、202、203节点server日志中除了infinispan Console 展示序列化的错误，无其他报错。kc服务日志中无报错。

”

四、测试结论分析

从jmeter聚合报告可知，接口错误率为0，TPS显示400-1000/sec。调整内存后，请求数已经达到5212w+垃圾回收有明显减少，无内存溢出错误。