polardb tpc-c 测试内存溢出 有实践过吗？

在使用 BenchmarkSQL 进行 TPC-C 测试时，如果在 build 数据阶段 遇到内存溢出的问题，可能是由于以下几个原因导致的。以下是详细的分析和解决方案：

1. 问题原因分析

a. JVM 默认内存配置不足

BenchmarkSQL 是基于 Java 的工具，默认的 JVM 内存配置可能不足以处理大规模数据导入任务（例如 1000 个仓库、5 亿多条记录）。如果未调整 JVM 参数，可能会导致内存溢出（OutOfMemoryError）。

b. 数据导入并发数过高

在 props.mysql 配置文件中，loadWorkers 参数控制数据导入的并发数。如果设置过高（例如默认值 100），可能会导致内存占用过高，从而引发内存溢出。

c. ECS 压力机资源不足

根据知识库中的描述，建议使用高规格的 ECS 实例（如 ecs.g6.8xlarge，32 vCPU，128 GB 内存）作为压力机。如果使用的 ECS 实例规格较低，可能会因内存不足而导致问题。

2. 解决方案

a. 调整 JVM 内存参数

在运行 runDatabaseBuild.sh 脚本时，可以通过修改脚本中的 JVM 参数来增加可用内存。具体操作如下： 1. 打开 run/runDatabaseBuild.sh 文件。 2. 找到类似以下的 JVM 参数配置：

java -Xms512M -Xmx2048M -cp $CLASSPATH org.postgresql.benchmarksql.LoadData $*

1. 将 -Xms 和 -Xmx 参数调整为更高的值，例如：

   java -Xms4G -Xmx8G -cp $CLASSPATH org.postgresql.benchmarksql.LoadData $*
   

   说明：-Xms 是 JVM 初始堆内存大小，-Xmx 是最大堆内存大小。根据 ECS 实例的内存大小合理调整这些值。

b. 降低数据导入并发数

在 props.mysql 配置文件中，适当降低 loadWorkers 参数的值。例如，将默认值从 100 降低到 50 或更低：

loadWorkers=50

注意：降低并发数会延长数据导入时间，但可以有效减少内存占用。

c. 使用更高规格的 ECS 实例

确保使用的 ECS 实例规格足够高。根据知识库中的建议，推荐使用 ecs.g6.8xlarge（32 vCPU，128 GB 内存）作为压力机。如果当前实例规格较低，建议升级到更高配置。

d. 后台运行并监控内存使用

为了避免 SSH 断开导致任务中断，建议通过 nohup 命令将数据导入任务推到后台运行，并实时监控内存使用情况：

nohup ./runDatabaseBuild.sh props.mysql > build.log 2>&1 &

同时，可以通过以下命令监控内存使用：

top

或查看日志文件：

tail -f build.log

3. 验证数据完整性

在完成数据导入后，务必验证数据的完整性。根据知识库中的描述，可以通过执行以下 SQL 查询来检查数据是否正确导入：

select a.* from (Select w_id, w_ytd from bmsql_warehouse) a left join (select d_w_id, sum(d_ytd) as d_ytd_sum from bmsql_district group by d_w_id) b on a.w_id = b.d_w_id and a.w_ytd = b.d_ytd_sum where b.d_w_id is null;

如果返回结果集为空，则说明数据完整。

4. 其他注意事项

• 关闭不必要的服务：在 ECS 上运行测试时，关闭其他占用内存的服务，以释放更多资源。
• 优化 PolarDB-X 参数：根据知识库中的建议，调整 PolarDB-X 实例的相关参数，例如：

  set global RECORD_SQL=false;
  set global MPP_METRIC_LEVEL=0;
  set global ENABLE_CPU_PROFILE=false;
  set global ENABLE_TRANS_LOG=false;
  

  这些参数可以减少数据库的资源消耗，提升性能。

5. 总结

通过调整 JVM 内存参数、降低数据导入并发数、使用更高规格的 ECS 实例以及优化 PolarDB-X 参数，可以有效解决 BenchmarkSQL 在 TPC-C 测试中 build 数据阶段的内存溢出问题。如果问题仍然存在，建议逐步排查 ECS 资源使用情况和数据库配置，确保测试环境满足要求。

希望以上内容能够帮助您顺利完成测试！