开源版GreenPlum很不稳定、速度也不行-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

开源版GreenPlum很不稳定、速度也不行

2016-07-29 19:17:59 9526 2

集群情况

1台服务器,做master
8台服务器,每台运行4个segment
服务器硬件一样:

cpu:xeon e5-2620
内存:64G
硬盘:4Tx8 RAID 6

OS:CentOS 7.2
GreenPlum: github master

不稳定

  1. 安装的时候小问题不少
  2. 大批量写入数据不稳定,会报各种报错:
MPP detected 32 segment failures, system is reconnected (cdbfts.c:228)
The distributed transaction 'Prepare' broadcast failed to one or more segments for gid = 1464921510 - 0000034486. (cdbtm.c:690)

速度慢

写入10亿条数据(仅3个字段),试过各自方法:

  1. 把每1000条插入语句组成1个长字符串,效果差,每秒才10几条。而且有个很奇怪的现象,master会向其他节点发送大量的数据(跑满网卡),但是写入数据库的效率却很差
  2. 每次还是插入一条,累计1000条再发送commit。情况和1一样
  3. 使用copy_from,效果好很多,每秒可以插入2万条,但是和单机的postgresql比,性能只有5分之一
  4. cpu 80%,估计master是瓶颈

查询速度和单机postgresql比,差了几十倍;

  1. 使用explain分析,速度很快(40ms)
  2. 得到数据(10条),要12s
  3. 查询时segment CPU 100%

我想知道,有改善的方法吗?

取消 提交回答
全部回答(2)
  • airpig
    2019-07-17 20:02:00

    官方文档不建议用centos7吧,需要打os的补丁,用5和6都很稳定

    0 0
  • 德哥
    2019-07-17 20:02:00

    Greenplum是数据仓库,不是OLTP。
    推荐的数据入库方法是gpload,可以把你的硬件能力吃满,关键是并行的,每台主机每秒导入1GB的话,10台就是10GB哦。
    查询的话,由于GP是分布式执行计划,这块比较重,通常生成执行计划要10毫秒上下,所以即使是很简单的查询,如果是第一次查询(没有缓冲执行计划时)可能也要几十毫秒。
    对于大的统计分析查询,性能是很好的。
    你可以用TPC-H测试一下。

    关于稳定性,可能需要关注一下您的硬件环境,软件环境。是不是哪里部署出问题了呢?

    1 0
添加回答
相关问答

1

回答

日志服务数据导入实验中上传日志文件时,在新建目录对话框中输入目录名 sls后,文件管理页面怎么操作?

2022-06-02 09:42:15 964浏览量 回答数 1

1

回答

如果为了实现Lambda架构的实时/离线一体化和分析服务一体化,所建的新数仓需要符合哪些特点?

2021-11-04 18:23:06 154浏览量 回答数 1

2

回答

如果使用阿里云的大数据框架做项目,可以同时用阿里云、百度云、腾讯云服务器搭建大数据环境吗?(学生党)

2021-03-22 12:47:49 1494浏览量 回答数 2

1

回答

如何使用Bash Shell检查Java版本?

2020-01-06 15:23:19 541浏览量 回答数 1

1

回答

hbase里面的一张表数据清空了,所对应的phoenix里面的索引表会自动被删除吗?

2019-08-06 15:28:37 1216浏览量 回答数 1

0

回答

开源数据同步神器——canal的使用体验:稳定性和性能如何?

2019-06-13 13:22:45 1660浏览量 回答数 0

0

回答

描绘未来 - 物流云 2.0菜鸟物流云的定位、价值与展望

2018-06-30 19:57:33 1071浏览量 回答数 0

0

回答

怎么使用这个自定义脚本来配置自己的 yum 源、NTP 服务和 DNS 服务

2017-10-19 11:13:41 2061浏览量 回答数 0

1

回答

求下面这个图的清晰版,能源云

2017-02-06 22:46:30 1690浏览量 回答数 1

20

回答

1M带宽使用OSS求大家测试一下速度

2013-04-25 08:48:51 11884浏览量 回答数 20
+关注
文章
问答
问答排行榜
最热
最新
相关电子书
更多
全新的Greenplum 6.0内核优化解读和7.0展望
立即下载
国产化浪潮之上的PostgreSQL-删时间
立即下载
PostgresChina2018_赖宝华_开源分布式NewSQL数据库CockroachDB架构及最佳实践
立即下载