Green Plum测试报告

简介:

最近在EMC公司就Green Plum做了下测试,总体而言,测试效果还是很不错的,在这里非常感谢EMC测试人员的协助,希望有机会能够合作。

本文先后从数据加载、数据查询、数据范围查询、数据更新、修改方面对Green Plum做了相关测试,并给出了评测结论。

1.1  硬件环境

测试项目

Oracle11G

GreenPlum

Master 节点

GreenPlum

Segment 4节点

GreenPlum

Segment 8节点

主机节点数

2

2

4

8

CPU

2*4 intel 2.83GHz

2*6 intel 3.0GHZ

2*6  intel 2.93GHZ

2*6  intel 2.93GHZ

内存

16G

 

 

 

磁盘

146G*2(Raid1)

SAS 10K

6*300GB SAS(Raid5)

12*600GB SAS(Raid5)

12*600GB SAS(Raid5)

存储

DELL MD3200

6Gbps SAS

36*2T(2Hotspace)

2T*8+10T( Raid5)

N/A

N/A

N/A

网络

2*1Gb千兆网口

4*1 Gb千兆网口

2*1 10GB 万兆网口

2*1 Gb 千兆网口

2*1 10GB 万兆网口

2*1 Gb 千兆网口

2*1 10GB 万兆网口

交换机

3560千兆交换机

万兆交换机2台,千兆交换机1台

 

1.2   软件环境

 

Oracle

Green Plum

操作系统&版本

Oracle Linux5.6

Linux5.5

数据库&版本

Oracle 11g 11.2.0.2.0

Greenplum-db-4.1.1.3

 

 

 

 

 

 

 

2.1   加载性能测试

2.1.1    性能测试项目

测试项目

具体项目

Oracle

11G

GreenPlum

4节点

GreenPlum

8节点

Copy VS SQL loader

6400万

900秒

N/A

N/A

外部表 VS 外部表

6400万

N/A

63秒

50秒

6400万*3

N/A

130秒

76秒

Insert方式VS Insert方式

6400万

1800~9000秒

 

 

6400万*4

N/A

74秒

39秒

6400万*8

N/A

360秒

90秒

6400万*16

N/A

356秒

209秒

 

2.1.2    测试结果总结

从4节点与8节点的加载性能来看,性能和节点数量基本呈线性关系。

Green Plum与Oracle相比,数据加载的性能提高20倍~100倍不等。

 

 

 

 

 

 

2.2   SELECT性能测试

2.2.1    性能测试项目

标准查询语句性能测试

测试项目

具体项目

Oracle

11G

GreenPlum

4节点

GreenPlum

8节点

单分区分组

(参见相关语句)

Select

120秒

——

40

CTAS

33秒

17.5秒

12秒

Insert

——

11.9秒

5.3秒

八分区分组

(参见相关语句)

Select

500秒

——

77.6秒

CTAS

232秒

——

——

Insert

——

——

40.5秒

三十个分区分组

(参见相关语句)

CTAS

——

——

207.3秒

单分区与八个分区分组统计

(参见相关语句)

Select

437秒

67.1秒

56.1秒

CTAS

——

35.8秒

27.7秒

Insert

——

32.4秒

21.9秒

单分区与三十个分区分组统计

(参见相关语句)

Select

——

230.0秒

——

 

IP查询语句性能测试

测试项目

Oracle

11G

GreenPlum

4节点

GreenPlum

8节点

IP范围查询—by 转换后

(参见相关语句)

约1800秒

——

约2537秒

IP范围查询—by函数

(参见相关语句)

约18000秒

——

约36000秒

IP查询

(参见相关语句)

——

21秒

32~98秒

 

2.2.2    测试结果总结

从以上的测试数据来看,大批量的数据处理,都能够在所期望的时间内以很短的时间完成执行。通过4个节点与8个节点响应的SQL测试时间的比较来看,性能与节点数量基本上呈线性关系。

GreenPlum与Oracle相比,数据查询的性能提高3倍~20倍不等。(Oracle的测试结果已做过优化,GP则为无索引状态)

      基于IP范围查询的结果见补充说明

2.2.3    补充说明

对于IP范围查询(包括数字和函数比较),Green Plum和Oracle的执行性能均一般,GreenPlum还要更差一些。

为 了解决这个性能问题,Green Plum对IP表做了特殊处理,即把10999行的IP表拆分成1亿多条的IP明细表,采用等关联处理,即避开nestloop方式的join而使用更为 快速的hash join。修正效果显著,相同的数据关联从之前的约2500秒的处理时间降低到约20秒,有了100倍左右的提升。

2.3   UPDATE、DELETE性能测试

2.3.1    性能测试项目

测试项目

Oracle

11G

GreenPlum

4节点

GreenPlum

8节点

Update(30个分区)

——

——

130.7秒

Delete

——

——

12秒

2.3.2    测试结果总结

对于大批量数据的更新和删除,Green Plum的优势更加明显,Oracle还需要加以特殊处理(即分段处理)才能进行更新和删除。

Green Plum的Update有个小问题,批量增加字段会导致整个表的大小翻倍,可以通过表的在线分析进行压缩。

 









本文转自baoqiangwang51CTO博客,原文链接:http://blog.51cto.com/baoqiangwang/708599,如需转载请自行联系原作者

相关文章
|
存储 Prometheus Kubernetes
解决k8s调度不均衡问题
在近期的工作中,我们发现 k8s 集群中有些节点资源使用率很高,有些节点资源使用率很低,我们尝试重新部署应用和驱逐 Pod,发现并不能有效解决负载不均衡问题。在学习了 Kubernetes 调度原理之后,重新调整了 Request 配置,引入了调度插件,才最终解决问题。这篇就来跟大家分享 Kubernetes 资源和调度相关知识,以及如何解决k8s调度不均衡问题。
2747 0
解决k8s调度不均衡问题
|
API Docker 容器
如何免费获取 ChatGPT API Key?
上篇文章介绍了NextChat项目,只需配置ChatGPT API Key即可拥有私人ChatGPT网页应用。本文继续介绍免费获取API Key的来源——GPT_API_free,一个拥有13.6K Star的Github开源项目。需用Github账号绑定领取Key,支持gpt-3.5-turbo、embedding、gpt-4,但gpt-4每天限3次调用。GPT_API_free也提供付费版API,以支持项目持续运营。
9940 0
如何免费获取 ChatGPT API Key?
|
Java API 开发工具
Cocos游戏如何快速接入安卓优量汇广告变现?
本文介绍了如何在Cocos游戏项目中快速接入安卓优量汇广告,通过详细的步骤指导,包括前期准备、编辑gradle和清单文件、核心代码集成等,帮助开发者轻松实现广告功能,增加游戏的盈利渠道。文中还提供了示例工程下载链接,方便开发者直接上手实践。
Cocos游戏如何快速接入安卓优量汇广告变现?
|
前端开发 程序员
给圆点添加呼吸动画,老板说我很有想法
【10月更文挑战第13天】给圆点添加呼吸动画,老板说我很有想法
给圆点添加呼吸动画,老板说我很有想法
|
SQL 存储 缓存
PostgreSQL函数管理接口
学习PostgreSQL服务端开发必须要对函数管理接口有比较深入的了解
|
安全 程序员 Linux
探索操作系统的核心:用户态与核心态的深度解析
本文介绍了操作系统中用户态与核心态的概念,两者分别代表程序执行的不同权限级别。用户态限制应用程序访问敏感资源以确保安全,而核心态赋予操作系统完全控制权以管理硬件和内存。文章详细解释了这两种状态的重要性、区别以及如何在二者之间进行切换,包括通过系统调用、异常和中断等方式。理解这些概念对于确保系统的稳定性和安全性至关重要。
1226 3
|
Java Unix BI
PMD【 Java 代码检查工具】入门使用教程(超详细)
PMD【 Java 代码检查工具】入门使用教程(超详细)
PMD【 Java 代码检查工具】入门使用教程(超详细)
|
Linux 应用服务中间件 nginx
Linux流量复制工具
  对于一些有并发要求的业务,特别是对接外部流量时,产品上线前一定要做的就是压力测试,但是常规的压力测试并不能覆盖所有情况。以gemeter、ab,、webbench、http_load为例,这些通过模拟请求的压测工具,只能发送特定的参数,对于一些参数异常导致的程序处理异常是无法考虑到的,所以就需要一款能复制真实流量,并且不影响线上业务的工具。
4025 0
|
SQL Oracle 关系型数据库
Oracle的LAG和LEAD分析函数
Oracle的LAG和LEAD分析函数
1061 1
Oracle的LAG和LEAD分析函数