机器信息
机型 |
cpu |
内存 |
网络基础带宽（Gbit/s） |
本地存储（GiB） |
|
ecs.c7.16xlarge |
64vcpu 频率2.70GHz |
|
128GiB |
12 |
6*2000 |
ecs.c7a.16xlarge |
64vcpu 频率2.70GHz |
|
128GiB |
12 |
6*2000 |
测试数据
ecs.c7.16xlarge |
ecs.c7a.16xlarge |
|
datagen耗时 |
2294s |
2111s |
单流测试耗时 |
3347s |
1770s |
ecs.c7.16xlarge
配置信息：
datagen
datagen_custom.sh脚本：
cd /root/litf/tpcds/sqlperf/projar/
source /etc/profile
spark-submit --properties-file spark-config.conf --driver-class-path /opt/spark-3.0.1-bin-hadoop2.7/jars/mysql-connector-java-8.0.21.jar --class com.databricks.spark.sql.perf.tpcds.TPCDS_Bench_DataGen spark-sql-perf_2.12-0.5.1-SNAPSHOT.jar hdfs://master1:9000/tmp/tpcds_test tpcdstest 1000 parquet
系统指标：
单流：
runallquery_custom.sh脚本：
cd /root/litf/tpcds/sqlperf/projar/
source /etc/profile
spark-submit --properties-file spark-config.conf --driver-class-path /opt/spark-3.0.1-bin-hadoop2.7/jars/mysql-connector-java-8.0.21.jar --class com.databricks.spark.sql.perf.tpcds.TPCDS_Bench_RunAllQuery spark-sql-perf_2.12-0.5.1-SNAPSHOT.jar all hdfs://master1:9000/tmp/tpcdstest tpcdstest /tmp/tpcdstest_result
系统指标：
