测试大数据集群TPC-DS性能

简介: 集群评测

一、购买实例

方法一:阿里云官网控制台购买

登录阿里云官网购买云服务器ECShttps://ecs-buy.aliyun.com/simple/#/simple。可根据需求选择一键购买或自定义购买,实例规格如:ecs.i3g.13xlarge,ecs.d2s.8xlarge等。

可参考文档说明进行购买:https://help.aliyun.com/document_detail/87190.htm?spm=a2c4g.11186623.2.2.65ca4979OmtlBI#task-vwq-5g4-r2b


方法二:使用fastmr工具购买

下载Fast Mracc工具进行购买:

git clone git@gitlab.alibaba-inc.com:GPACC/fastmr.git

使用可参考:https://yuque.antfin.com/docs/share/2646d534-4365-47fa-94c5-d234c1200757

二、部署spark、Hadoop环境

参见https://yuque.antfin.com/docs/share/d0eb3346-3951-4d4c-8dcd-335b858a8b21?#

三、测试TPC-DS

1.生成tpcds数据

① 重启 mysql

    service mysqld restart

修改配置文件

   cd /root/lift/tpcds/sqlperf/projar

   根据实例环境内存和vcpu数修改配置文件spark-config.conf

 

③ 查看并修改脚本

    datagen_custom.sh数据生成脚本:

     ·此脚本为在tpcdstest库中生成1000g数据,可根据实际情况进行修改。

④执行脚本

  nohup ./datagen_custom.sh  >data_create &

  等待脚本运行完成,统计运行时间。

2.tpcds单流测试

   ①查看并修改runallquery_custom.sh单流执行脚本

·此数据库名需与数据生成脚本中数据库名保持一致


②执行脚本

    nohup ./runallquery_custom.sh >singlequery 2>&1 &

    等待脚本运行完成,统计运行时间。

3.tpcds多流测试

① 启动常驻服务

      nohup spark-submit  --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 --properties-file=/root/litf/tpcds/sqlperf/projar/spark-config.conf  >thrift.log 2>&1 &

修改配置文件

      cd /root/litf/tpcds/tpcds/custom

查看多流配置文件config

·DB数据库名需与datagen_custom.sh中名称保持一致

·检查路径是否正确

查看多流执行脚本

执行脚本

nohup ./tt.sh &

·等待脚本运行完成,在/root/litf/tpcds/tpcds/custom/clog路径下查看运行日志 ,统计运行时间。




相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
12月前
|
人工智能 测试技术 芯片
AMD Ryzen AI Max+ 395四机并联:大语言模型集群推理深度测试
本文介绍了使用四块Framework主板构建AI推理集群的过程,并基于AMD Ryzen AI Max+ 395处理器进行大语言模型推理性能测试,重点评估其并行推理能力及集群表现。
1186 0
AMD Ryzen AI Max+ 395四机并联:大语言模型集群推理深度测试
|
负载均衡 算法 关系型数据库
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
本文聚焦 MySQL 集群架构中的负载均衡算法,阐述其重要性。详细介绍轮询、加权轮询、最少连接、加权最少连接、随机、源地址哈希等常用算法,分析各自优缺点及适用场景。并提供 Java 语言代码实现示例,助力直观理解。文章结构清晰,语言通俗易懂,对理解和应用负载均衡算法具有实用价值和参考价值。
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
|
11月前
|
测试技术 UED 开发者
性能测试报告-用于项目的性能验证、性能调优、发现性能缺陷等应用场景
性能测试报告用于评估系统性能、稳定性和安全性,涵盖测试环境、方法、指标分析及缺陷优化建议,是保障软件质量与用户体验的关键文档。
|
存储 缓存 分布式计算
OSS大数据分析集成:MaxCompute直读OSS外部表优化查询性能(减少数据迁移的ETL成本)
MaxCompute直读OSS外部表优化方案,解决传统ETL架构中数据同步延迟高、传输成本大、维护复杂等问题。通过存储格式优化(ORC/Parquet)、分区剪枝、谓词下推与元数据缓存等技术,显著提升查询性能并降低成本。结合冷热数据分层与并发控制策略,实现高效数据分析。
459 2
|
分布式计算 Shell MaxCompute
odps测试表及大量数据构建测试
odps测试表及大量数据构建测试
|
负载均衡 算法 关系型数据库
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL集群架构负载均衡故障排除与解决方案
本文深入探讨 MySQL 集群架构负载均衡的常见故障及排除方法。涵盖请求分配不均、节点无法响应、负载均衡器故障等现象,介绍多种负载均衡算法及故障排除步骤,包括检查负载均衡器状态、调整算法、诊断修复节点故障等。还阐述了预防措施与确保系统稳定性的方法,如定期监控维护、备份恢复策略、团队协作与知识管理等。为确保 MySQL 数据库系统高可用性提供全面指导。
|
算法 Java 测试技术
使用 BenchmarkDotNet 对 .NET 代码进行性能基准测试
使用 BenchmarkDotNet 对 .NET 代码进行性能基准测试
490 13
|
开发框架 .NET Java
C#集合数据去重的5种方式及其性能对比测试分析
C#集合数据去重的5种方式及其性能对比测试分析
311 11
|
开发框架 .NET Java
C#集合数据去重的5种方式及其性能对比测试分析
C#集合数据去重的5种方式及其性能对比测试分析
336 10
|
机器学习/深度学习 分布式计算 数据挖掘
MaxFrame 性能评测:阿里云MaxCompute上的分布式Pandas引擎
MaxFrame是一款兼容Pandas API的分布式数据分析工具,基于MaxCompute平台,极大提升了大规模数据处理效率。其核心优势在于结合了Pandas的易用性和MaxCompute的分布式计算能力,无需学习新编程模型即可处理海量数据。性能测试显示,在涉及`groupby`和`merge`等复杂操作时,MaxFrame相比本地Pandas有显著性能提升,最高可达9倍。适用于大规模数据分析、数据清洗、预处理及机器学习特征工程等场景。尽管存在网络延迟和资源消耗等问题,MaxFrame仍是处理TB级甚至PB级数据的理想选择。
451 6