关于GPfdist数据入库性能问题-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

关于GPfdist数据入库性能问题

2016-01-24 17:56:48 4003 1

@digoal
德哥,目前我用四台服务器做了个gp集群,1 master,3 segment,3 mirror。其中master独立一台,另外三台分别对应1primary、1mirror。
服务器配置:
DELL C1600主板
CPU:X5650*2(主频:2.66Ghz,十二核二十四线程)
内存:服务器专用RRD3 REG ECC 32G
硬盘:希捷 2T 7200转 64M STAT3机械硬盘。
千兆交换机。
额外安排一台服务器做gpfdist服务器,进行数据入库。
表结构如下:
screenshot
数据基本是这个样子
screenshot

数据文件1小时一个,文件大小从100MB至2GB不等,单个文件行数在100万条至2000万条不等。
数据表按天分区,入库前子表不创建索引,入库语句是insert child_table select * from external_table。每次入库创建新的外部表指定唯一外部文件。
目前入库速度基本维持在10MB/s,数据行数10w/s,日表(子表)数据越多,数据文件越大,速度回越慢(怀疑与数据重分布有关)。
观察磁盘io、网络带宽、cpu都有相当大的空闲。内存倒是基本都被占用了,不过top显示的进程内存使用量并不大。
尝试多加一台服务器做gpfdist导入其它数据表数据,入库速度没有明显提升,反而会拖慢老的入库进程。
瓶颈应该在集群这一侧,我尝试修改过一些参数,但是gp得好多参数都不建议修改,不清楚gp的机制是什么样的,我应该从哪方面入手进行优化?
拜谢。

取消 提交回答
全部回答(1)
  • 德哥
    2019-07-17 18:26:19

    用perf top跟踪一下。

    0 0
相关问答

54

回答

阿里云已停止对MySQL5.1的版本维护,快快快升级版本吧

rds-pd 2014-11-12 16:21:57 62465浏览量 回答数 54

37

回答

干货分享:DBA专家门诊一期:索引与sql优化问题汇总

xiaofanqie 2014-12-25 15:13:38 92960浏览量 回答数 37

8

回答

OceanBase 使用动画(持续更新)

mq4096 2019-02-20 17:16:36 340447浏览量 回答数 8

36

回答

SQL Server优化案例分享【精品问答集锦】

管理贝贝 2016-08-25 10:14:03 46133浏览量 回答数 36

27

回答

阿里云开源软件镜像站点上线啦!!

qilu 2014-01-06 18:14:06 97094浏览量 回答数 27

11

回答

【精品问答合集】MongoDB热门问答

李博 bluemind 2019-05-29 16:50:19 122931浏览量 回答数 11

31

回答

【入门教程系列】Linux系统建站完整教程(适用于新手初级站长)

wujian8150 2011-09-26 16:53:51 49338浏览量 回答数 31

11

回答

速戳 | 20位阿里出题专家-备战阿里必不可少的题目

Runt 2020-04-15 10:54:04 61638浏览量 回答数 11

19

回答

云数据库RDS MySQL版【问答合集】

我是管理员 2018-08-03 15:10:37 53253浏览量 回答数 19

1

回答

阿里云各种产品使用索引(更新2015.08.17)

梦丫头 2015-07-18 12:19:16 72055浏览量 回答数 1
+关注
postgres_up
一枚PGer
0
文章
11
问答
问答排行榜
最热
最新
相关电子书
更多
OceanBase 入门到实战教程
立即下载
阿里云图数据库GDB,加速开启“图智”未来.ppt
立即下载
实时数仓Hologres技术实战一本通2.0版(下)
立即下载