一、购买实例
方法一:阿里云官网控制台购买
登录阿里云官网购买云服务器ECShttps://ecs-buy.aliyun.com/simple/#/simple。可根据需求选择一键购买或自定义购买,实例规格如:ecs.i3g.13xlarge,ecs.d2s.8xlarge等。
可参考文档说明进行购买:https://help.aliyun.com/document_detail/87190.htm?spm=a2c4g.11186623.2.2.65ca4979OmtlBI#task-vwq-5g4-r2b
方法二:使用fastmr工具购买
下载Fast Mracc工具进行购买:
git clone git@gitlab.alibaba-inc.com:GPACC/fastmr.git
使用可参考:https://yuque.antfin.com/docs/share/2646d534-4365-47fa-94c5-d234c1200757
二、部署spark、Hadoop环境
参见https://yuque.antfin.com/docs/share/d0eb3346-3951-4d4c-8dcd-335b858a8b21?#
三、测试TPC-DS
1.生成tpcds数据
① 重启 mysql
service mysqld restart
② 修改配置文件
cd /root/lift/tpcds/sqlperf/projar
根据实例环境内存和vcpu数修改配置文件spark-config.conf
③ 查看并修改脚本
datagen_custom.sh数据生成脚本:
·此脚本为在tpcdstest库中生成1000g数据,可根据实际情况进行修改。
④执行脚本
nohup ./datagen_custom.sh >data_create &
等待脚本运行完成,统计运行时间。
2.tpcds单流测试
①查看并修改runallquery_custom.sh单流执行脚本
·此数据库名需与数据生成脚本中数据库名保持一致
②执行脚本
nohup ./runallquery_custom.sh >singlequery 2>&1 &
等待脚本运行完成,统计运行时间。
3.tpcds多流测试
① 启动常驻服务
nohup spark-submit --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 --properties-file=/root/litf/tpcds/sqlperf/projar/spark-config.conf >thrift.log 2>&1 &
② 修改配置文件
cd /root/litf/tpcds/tpcds/custom
查看多流配置文件config
·DB数据库名需与datagen_custom.sh中名称保持一致
·检查路径是否正确
查看多流执行脚本
③执行脚本
nohup ./tt.sh &
·等待脚本运行完成,在/root/litf/tpcds/tpcds/custom/clog路径下查看运行日志 ,统计运行时间。