首届 E-MapReduce 极客挑战赛正在火热进行中，快来报名参加吧！
报名链接：（报名时间即日起至 09/21）：https://tianchi.aliyun.com/competition/entrance/531912/introduction
E-MapReduce 极客挑战赛钉钉交流群：35434038
本文主要讲解自测工具的使用以及代码的提交和评测，帮助选手更高效的解题。
直播回放链接：
https://developer.aliyun.com/live/247179
一、初赛赛题说明
EMR 团队提供用于比赛的 Spark 3.1.2 代码分支，选手进行 Spark 代码优化和参数调优以提升 SparkSQL 执行效率，同时组委会提供性能测评工具供选手自行测试（单机环境或EMR集群环境）。在比赛阶段，选手将最终优化后的 Spark 代码和调优参数打包，通过天池平台提交，天池平台会使用相同的性能测评工具，进行评测和排名。初赛测评环境的 EMR 集群配置参考“初赛测评环境软硬件配置”。
二、测评工具使用说明
参考文档：https://github.com/tianchi-emr/spark-sql-perf/blob/tianchi/README.md
Benchmark工具：https://github.com/tianchi-emr/spark-sql-perf
将代码 clone 到本地
tpcds-kit 工具编译
进入 resource/bin目录，运行 compile.sh脚本进行编译步骤，该编译脚本目前仅支持在LINUX和MACOS系统上进行编译
cd resource/bin bash compile.sh
生成数据集
进入resource/bin目录，修改params.conf配置文件，指定如下配置项：
- SCALE_FACTOR：生成数据集规模，本地测试可选择1
- ITERATIONS：执行轮数
- DATA_LOCATION：生成数据集的存储路径，需要预留有足够的存储空间
- RESULT_LOCATION：结果输出路径
- DATA_GEN_SPARK_MASTER：生成数据集运行的 spark 程序的 master，本地测试需要填写 local[N]，其中 N 为所使用的 CPU 核心数
配置完成后，运行datagen.sh脚本进行数据生成（执行过程中 dsdgen 工具输出的 stderr日 志会被 sbt 判定为 [error] 日志，可以忽略）。
cd resource/bin vim params.confbash datagen.sh
执行脚本时，以防误删会先提示确认数据生成路径，确认无误输入" Y "继续执行。
执行成功后可查看下文件夹大小
运行 TPC-DS Benchmark 测试
进入resource/bin目录，修改params.conf配置文件，指定如下配置项：
- SCALE_FACTOR：生成数据集规模，与生成数据集时配置内容相同，生成数据集配置后无需修改
- ITERATIONS：Benchmark 执行轮数
- DATA_LOCATION：数据集存储目录，与生成数据集时配置内容相同，生成数据集配置后无需修改
- SPARK_DIR：选手优化后 Spark 安装目录
（选手对 spark 代码进行打包，指定路径）
- TPCDS_RUN_SPARK_MASTER：Benchmark 运行的 spark 程序的 master，本地测试需要填写 local[N]，其中 N 为所使用的 CPU 核心数
配置完成后，运行run_tpcds.sh脚本执行测试。
cd resource/bin vim params.confbash run_tpcds.sh
运行完成后，选手可查看运行时间判断代码优化效果。
Benchmark 默认会执行所有生成的 query，可以修改src/main/notebooks/tpcds_run_emr.scala脚本中的 query_filter 变量进行 query 指定。
val query_filter = Seq()// Seq()== all queries val query_filter = Seq("q1-v2.4","q2-v2.4")// run subset of queries
如果希望排除某些 query 不运行，可以将exclude变量设置为 true。
val exclude =trueval query_filter = Seq("q77-v2.4")// all queries except q77
此外，如果有参数的优化，可以在文件中进行修改。例如修改 spark.conf，把参数设置为优化的参数，也能对优化的参数进行性能测试。
三、提交评测说明
选手基于比赛提供的 Spark 代码进行优化，并将调优的 Spark 参数写入到 Spark 代码 conf/spark-defaults.conf 文件中，将优化后的 Spark 代码打包后提交至天池平台。平台会将 Spark 包自动部署到比赛提供的阿里云 EMR 集群，并使用 Benchmark 工具加载选手调优的 Spark 参数进行测试。打包需要确认 conf/spark-defaults.conf 文件存在，打包命令如下：
mvn -Phive,yarn -Phadoop-3.2-Dhadoop.version=3.2.1 clean -DskipTests ./dev/make-distribution.sh--tgz -B -e -Phadoop-3.2 -Phive -Pyarn
在目录下会生成一个 tgz 文件，包含优化的 spark 代码编译后的架包以及优化的 spark-defaults.conf 的配置参数等
为确保优化参数在最终测评时生效，需确保在 conf 目录下，放入 spark-defaults.conf 文件并保证文件名正确。
打包完成后到天池平台进行上传评测。
提交地址：https://tianchi.aliyun.com/competition/entrance/531912/submission/827
评测需要一定时间，评测程序执行完成后，可在我的成绩中查看结果。
四 总结
本文结合首届 E-MapReduce 极客挑战赛的赛题说明，通过实操演示讲解了自测工具的使用以及代码的提交和评测。希望对参加比赛的同学们能有所帮助，也欢迎更多的技术同学报名参加我们的挑战赛，一起探讨性能极限。
对比赛感兴趣或者参赛过程中有疑问的小伙伴，欢迎扫描下方二维码加入交流群一起来交流讨论~
