开发者社区> 问答> 正文

开源版GreenPlum很不稳定、速度也不行

集群情况

1台服务器,做master
8台服务器,每台运行4个segment
服务器硬件一样:

cpu:xeon e5-2620
内存:64G
硬盘:4Tx8 RAID 6

OS:CentOS 7.2
GreenPlum: github master

不稳定

  1. 安装的时候小问题不少
  2. 大批量写入数据不稳定,会报各种报错:
MPP detected 32 segment failures, system is reconnected (cdbfts.c:228)
The distributed transaction 'Prepare' broadcast failed to one or more segments for gid = 1464921510 - 0000034486. (cdbtm.c:690)

速度慢

写入10亿条数据(仅3个字段),试过各自方法:

  1. 把每1000条插入语句组成1个长字符串,效果差,每秒才10几条。而且有个很奇怪的现象,master会向其他节点发送大量的数据(跑满网卡),但是写入数据库的效率却很差
  2. 每次还是插入一条,累计1000条再发送commit。情况和1一样
  3. 使用copy_from,效果好很多,每秒可以插入2万条,但是和单机的postgresql比,性能只有5分之一
  4. cpu 80%,估计master是瓶颈

查询速度和单机postgresql比,差了几十倍;

  1. 使用explain分析,速度很快(40ms)
  2. 得到数据(10条),要12s
  3. 查询时segment CPU 100%

我想知道,有改善的方法吗?

展开
收起
jcing_idc 2016-07-29 19:17:59 10587 0
2 条回答
写回答
取消 提交回答
  • 官方文档不建议用centos7吧,需要打os的补丁,用5和6都很稳定

    2019-07-17 20:02:00
    赞同 展开评论 打赏
  • 公益是一辈子的事, I am digoal, just do it. 阿里云数据库团队, 擅长PolarDB, PostgreSQL, DuckDB, ADB等, 长期致力于推动开源数据库技术、生态在中国的发展与开源产业人才培养. 曾荣获阿里巴巴麒麟布道师称号、2018届OSCAR开源尖峰人物.

    Greenplum是数据仓库,不是OLTP。
    推荐的数据入库方法是gpload,可以把你的硬件能力吃满,关键是并行的,每台主机每秒导入1GB的话,10台就是10GB哦。
    查询的话,由于GP是分布式执行计划,这块比较重,通常生成执行计划要10毫秒上下,所以即使是很简单的查询,如果是第一次查询(没有缓冲执行计划时)可能也要几十毫秒。
    对于大的统计分析查询,性能是很好的。
    你可以用TPC-H测试一下。

    关于稳定性,可能需要关注一下您的硬件环境,软件环境。是不是哪里部署出问题了呢?

    2019-07-17 20:02:00
    赞同 1 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
让 MySQL 原生分布式触手可及 立即下载
全新的Greenplum 6.0内核优化解读和7.0展望 立即下载
MySQL 技术大全:开发、优化与运维实战 立即下载