开发者社区> 阿福Chris> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Deepgreen的TPC-H测试步骤(简略版)

简介:
+关注继续查看

本文仅简略介绍Deepgreen数据库在TPC-H测试中需要注意的几个步骤,为朋友们以后做测试防雷,详细步骤参见德哥帖子

1.上传文件并解压缩:


ChrisdeMacBook-Pro:tpch chris$ scp master.zip tpc-h-tool.zip dgadmin@192.168.100.107:/home/dgadmin
dgadmin@192.168.100.107's password:
master.zip                                                                                                                                       100%   21KB   3.6MB/s   00:00
tpc-h-tool.zip

unzip xxx

2.设置Makefile参数:


[dgadmin@linux1 ~]$ cd tpch_2_17_0/
[dgadmin@linux1 tpch_2_17_0]$ ls
dbgen  dev-tools  ref_data
[dgadmin@linux1 tpch_2_17_0]$ cd dbgen/
[dgadmin@linux1 dbgen]$ cp makefile.suite Makefile
[dgadmin@linux1 dbgen]$ vim Makefile

主要修改CC、Database、Machine、Workload四行:

################
## CHANGE NAME OF ANSI COMPILER HERE
################
CC      = gcc
# Current values for DATABASE are: INFORMIX, DB2, TDAT (Teradata)
#                                  SQLSERVER, SYBASE, ORACLE, VECTORWISE
# Current values for MACHINE are:  ATT, DOS, HP, IBM, ICL, MVS,
#                                  SGI, SUN, U2200, VMS, LINUX, WIN32
# Current values for WORKLOAD are:  TPCH
DATABASE= ORACLE
MACHINE = LINUX
WORKLOAD = TPCH

3.编译:make


4.生成测试数据:


[dgadmin@linux1 dbgen]$ ./dbgen -s 1 -f
TPC-H Population Generator (Version 2.17.0)
Copyright Transaction Processing Performance Council 1994 - 2010

5.将测试数据转换为postgresql识别的格式,删除末尾的分隔符|


[dgadmin@linux1 dbgen]$ for i in `ls *.tbl`; do sed 's/|$//' $i > ${i/tbl/csv}; done

6.把包含csv文件的目录,软链接到/tmp/dss-data。tpch-pg脚本中一会要用到这个目录


[dgadmin@linux1 dbgen]$ pwd
/home/dgadmin/tpch_2_17_0/dbgen
[dgadmin@linux1 dbgen]$ ln -s /home/dgadmin/tpch_2_17_0/dbgen /tmp/dss-data

7.切换到脚本文件master目录下:


[dgadmin@linux1 ~]$ cd pg_tpch-master/
[dgadmin@linux1 pg_tpch-master]$ ls
drop-caches.sh  dss  LICENSE  process.php  README.md  tpch.sh
[dgadmin@linux1 pg_tpch-master]$ cd dss/
[dgadmin@linux1 dss]$ ls
templates  tpch-alter.sql  tpch-create.sql  tpch-index.sql  tpch-load.sql  tpch-pkeys.sql

8.修改tpch-load.sql文件,适应dg语法:


##########COPY命令格式有问题,为了获得更好的效果,使用列存储,修改如下举例##########
) with (APPENDONLY=true,BLOCKSIZE=2097152,ORIENTATION=COLUMN,COMPRESSTYPE=lz4,CHECKSUM=true,OIDS=false);
备注:greenplum的压缩类型为:QuickLZ

单独用一个小文件测试数据是否可用:


psql -d tech
COPY region FROM '/tmp/dss-data/region.csv' WITH csv DELIMITER '|’;

9.把master下的所有文件复制到tpch的dbgen目录下:


[dgadmin@linux1 ~]$ cp -r pg_tpch-master/* tpch_2_17_0/dbgen/
10.在dbgen文件夹下的dss目录下创建文件夹:
[dgadmin@linux1 dbgen]$ mkdir dss/queries

10.生成测试sql:


[dgadmin@linux1 dbgen]$ 
for q in `seq 1 22`
 do
     DSS_QUERY=dss/templates ./qgen $q >> dss/queries/$q.sql
     sed 's/^select/explain select/' dss/queries/$q.sql > dss/queries/$q.explain.sql
     cat dss/queries/$q.sql >> dss/queries/$q.explain.sql;
 done

11.连接并创建测试数据库tpch


[dgadmin@linux1 dbgen]$ psql -d postgres -p 15432
psql (8.2.15)
Type "help" for help.

postgres=# create database tpch owner=dgadmin;
CREATE DATABASE

12.设置几个数据库参数:


##########设置几个参数##########
gpconfig -c enable_nestloop -v off
gpconfig -c work_mem -v 256MB
gpstop -u


13.执行测试:


nohup ./tpch.sh ./results tpch dgadmin &


备注:如果报错误或者bench.log报timeout,调整tpch.sh文件中的时间为半小时或者更长即可。


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
mac安装svn,Homebrew简单使用
mac安装svn,Homebrew简单使用
64 0
Linux命令- echo、grep 、重定向、1>&2、2>&1的介绍
Linux命令- echo、grep 、重定向、1>&2、2>&1的介绍最近笔试遇到一道题,关于Linux命令的,题目如下 下面两条命令分别会有怎样的输出 echo hello 1>&2 |grep aaa echo hello 2>&1 |grep aaa A、两个均输出hello B、第一个无输出,第二个输出 hello C、第一个输出hello,第二个无输出 D、两个均输出hello 思考了几分钟,选了C。
1129 0
Deepgreen与Greenplum TPC-H性能测试对比(使用VitesseData脚本)
前两天发了一篇基于[德哥测试脚本]的测试对比文章《Deepgreen与Greenplum TPC-H性能测试对比(使用德哥脚本)》,由于测试数据量少,两个数据库有几轮测试都是1秒持平,但是大多数测试Deepgreen均优于Greenplum,有的甚至快至百倍,感兴趣的朋友可以再回头看看。
7276 0
Protobuf和GRPC(一)
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/feilengcui008/article/details/60475459 数据交互协议和RPC框架对于分布式系统来说是必不可少的组件,这个系列主要用来分析Protobuf和GRPC的实现原理,本文主要介绍Protobuf生成代码的流程以及Protobuf与GRPC之间的交互方式。
2565 0
Windows系统安装————windows7 企业版 无法安装 NET.framework4.52-4.6版本在WIN7下解决办法
  官方安装包下载地址:https://www.microsoft.com/zh-cn/download/details.aspx?id=48137   我安装了NMM后提示NET.framework版本太低,需要4.52以上,但是我安装高版本的时候却出现了无法安装的问题。
1116 0
zTree的调用设使用(跨两个系统,两类技术实现的项目案例SpringMVC+Spring+MyBatis和Struts2+Spring+ibatis框架组合)
1、从zTree官网上下载zTree的包,zTree的官方网址是:http://www.ztree.me/v3/main.php#_zTreeInfo 2、引入zTree所需的依赖,例如(jQuery的js自己引入): <%@ page language="java" import="java.util.*" pageEncoding="utf-8"%> <
2474 0
ebs系统架构简介7.1——rac clone
今天在rac环境clone 的时候,查看日志: /testebs/uat/db/11.2.0/appsutil/log/TESTUAT1_hostname1/ApplyDatabase_12201204.
971 0
+关注
阿福Chris
Greenplum,Deepgreen
51
文章
6
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载