BigBench on MaxCompute 基准测试套件简明安装与运行指南

简介: 本文将介绍如何基于 MaxCompute大数据计算服务环境安装与运行BigBench大数据基准测试套件。

先决条件

  1. 注册阿里云账户
  2. MaxCompute客户端软件 (推荐使用0.27.0或以上版本) ,详情请见:安装并配置客户端
  3. Java 1.7 (Oracle/OpenJDK) 或以上版本 (推荐使用64位版本) 。

下载BigBench 套件

  1. 请点击[此链接](),下载BigBench on MaxCompute套件。
  2. 或直接访问以下该项目的github地址以获取BigBench on MaxCompute 套件。

配置BigBench on MaxCompute

  1. 编辑engines/maxcompute/conf文件夹中的engineSettings.conf 文件,配置MaxCompute客户端执行文件,如下所示:

    BINARY="$MAXCOMPUTE_CLIENT_DIR/bin/odpscmd"
  2. 编辑conf文件夹中的userSettings.conf文件,配置MaxCompute的项目名,如下所示:

  3. BIG_BENCH_DEFAULT_DATABASE="$MAXCOMPUTE_PROJECT_NAME"

  4. 编辑conf文件夹中的bigBench.properties文件,配置BigBench的测试阶段,如下所示:

    workload=BENCHMARK_START,POWER_TEST,THROUGHPUT_TEST_1,BENCHMARK_STOP,VALIDATE_POWER_TEST,VALIDATE_THROUGHPUT_TEST_1

如无特殊需求,请使用以上默认的测试阶段。

运行BigBench on MaxCompute基准测试套件

使用BigBench 驱动脚本运行BigBench基准测试。

$INSTALL_DIR/bin/bigBench runBenchmark

BigBench on MaxCompute 日志存放目录

运行与结果日志存放在以下目录。

$INSTALL_DIR/logs

FAQ

如何在BigBench基准测试套件中设置MaxCompute的参数?

你可以在engineSettings.sql文件中,为所有MaxCompute的查询配置参数,文件位置如下所示:

$INSTALL_DIR/engines/maxcompute/conf/engineSettings.sql

在这个文件里已经配置了一系列MaxCompute的参数。如无特殊需求,请使用默认配置。

如何针对特定query设置MaxCompute的参数?

你可以在queries目录下的engineLocalSettings.sql文件中配置,文件位置如下所示:

$INSTALL_DIR/engines/maxcompute/queries/q??/engineLocalSettings.sql

你可以把你针对特定query的MaxCompute参数配置在这个文件里, BigBench套件会自动导入这个文件,并覆盖MaxCompute全局变量。如无特殊需求,请使用默认配置。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
3天前
|
NoSQL 关系型数据库 MySQL
涉及rocketMQ,jemeter等性能测试服务器的安装记录
涉及rocketMQ,jemeter等性能测试服务器的安装记录
16 1
|
1天前
|
Web App开发 测试技术 C++
Playwright安装与Python集成:探索跨浏览器测试的奇妙世界
Playwright是新兴的跨浏览器测试工具,相比Selenium,它支持Chrome、Firefox、WebKit,执行速度快,选择器更稳定。安装Playwright只需一条`pip install playwright`的命令,随后的`playwright install`会自动添加浏览器,无需处理浏览器驱动问题。这一优势免去了Selenium中匹配驱动的烦恼。文章适合寻求高效自动化测试解决方案的开发者。
10 2
|
2天前
|
网络安全 Docker 容器
测试开发环境下centos7.9下安装docker的minio
测试开发环境下centos7.9下安装docker的minio
|
3天前
|
JSON 应用服务中间件 Linux
skywalking内部测试服务器安装记录
skywalking内部测试服务器安装记录
10 0
|
11天前
|
Linux 测试技术 数据安全/隐私保护
CentOS安装MeterSphere并实现无公网IP远程访问本地测试平台
CentOS安装MeterSphere并实现无公网IP远程访问本地测试平台
|
13天前
|
数据采集 DataWorks 关系型数据库
DataWorks操作报错合集之在DataWorks运行任务时出现链接超时,但在测试连通性时显示正常连通是什么原因导致的
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
23 0
|
14天前
|
SQL DataWorks Java
DataWorks操作报错合集之在阿里云 DataWorks 中,代码在开发测试阶段能够成功运行,但在提交后失败并报错“不支持https”如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
26 1
DataWorks操作报错合集之在阿里云 DataWorks 中,代码在开发测试阶段能够成功运行,但在提交后失败并报错“不支持https”如何解决
|
14天前
|
SQL 分布式计算 运维
MaxCompute产品使用合集之在大数据计算MaxCompute中,怎么查看工作空间中正在运行的查询和任务
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
14天前
|
测试技术 Python
python运行集成测试
【4月更文挑战第22天】
11 1
|
15天前
|
XML 测试技术 持续交付
python运行集成测试
【4月更文挑战第21天】
22 2

热门文章

最新文章