E2E benchmark测试文档

TPCx-HS 测试

cd /opt/TPC/TPCx-HS

① 查看并修改脚本

runtpcxhs.sh执行脚本：

  -h  Help

  -m  Use the MapReduce framework

  -s  Use the Spark framework

  -g  <TPCx-HS Scale Factor option from below>

      1   Run TPCx-HS for 100GB (For test purpose only, not a valid Scale Factor)

      2   Run TPCx-HS for 1TB

      3   Run TPCx-HS for 3TB

      4   Run TPCx-HS for 10TB

      5   Run TPCx-HS for 30TB

      6   Run TPCx-HS for 100TB

      7   Run TPCx-HS for 300TB

      8   Run TPCx-HS for 1000TB

      9   Run TPCx-HS for 3000TB

      10  Run TPCx-HS for 10000TB

②执行脚本

nohup ./runtpcxhs.sh &

会在当前目录下生成日志文件TPCx-HS-result-100G.log

③查看结果

作业执行完成后执行脚本查看结果

cat TPCx-HS-result-100G.log |grep -E 'Performance Metric|Time taken|Total Time' |grep -v  Report  

测试TPC-DS

1.生成tpcds数据

① 查看并修改脚本

    datagen_custom.sh数据生成脚本：

hdfs://master1:9000/tmp/tpcds_10  :数据存储hdfs路径

tpcds_10: 数据库名

10:数据量，单位为g

②执行脚本

  nohup ./datagen_custom.sh  >data_create &

  等待脚本运行完成，统计运行时间。

2.tpcds测试

   ①查看并修改runallquery_custom.sh单流执行脚本

hdfs://master1:9000/tmp/tpcds_10 ：数据存储hdfs路径，与数据生成路径一致

tpcds_10 ：与数据生成脚本中数据库名保持一致

/tmp/tpcds_10_result ：结果存放路径

②执行脚本

    nohup ./runallquery_custom.sh >query 2>&1 &

    等待脚本运行完成，统计运行时间。