请教GP自带入库程序gpload问题-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

请教GP自带入库程序gpload问题

2016-01-24 09:01:01 4677 2

我公司最近开始使用greenplum,作为数据仓库,性能确实非常喜人,但我们也遇到了几个问题,一直不知如何解决,不知有没有什么好的办法,或者还有其他我们没有了解到的特性。

    现在我们每天有600G左右的数据,通过gpload入库,现在有三类比较头疼的问题:
    数据值分区没有定义、数值长度大于表定义的字段长度、单行数据过长,
    这三类都会造成同样的后果,一起加载的几百个文件都会报错入不了库,看了gpload的代码,知道是gpfdist报错导致的,想了解下,有没有办法,让这三种情况跟普通的报错一样,只排除掉有问题的行,其他的行正常入库呢。现在采用的是比较傻的办法,预建分区、将所有字段类型改为text,一个个找出哪个文件的哪一行超长了,增大gpfdist -m启动参数等等,有几种方式确实比较影响性能。
    打扰了,还望指导下,多谢。
取消 提交回答
全部回答(2)
  • postgres_up
    2019-07-17 18:26:17

    请教下,你们600G的数据入库在不出错的情况下,大概要入多久,多少节点的集群?配置如何

    2 0
  • 德哥
    2019-07-17 18:26:16

    gpload 支持过滤error row的.你看看它的帮助手册,Control File中配置错误记录位置,错误限制条数等。

    1 0
添加回答
相关问答

1

回答

微信小程序代码的目录结构包含哪些内容?

2022-08-16 14:25:09 213浏览量 回答数 1

1

回答

分库分表环境下,使用由应用程序+数据库共同控制解决事务问题的优缺点是什么?

2022-05-09 11:22:35 137浏览量 回答数 1

1

回答

各位大佬,请教一个问题 使用python Hadoop streaming程序,如何输出自己的日志

2020-01-13 21:14:59 515浏览量 回答数 1

2

回答

在阿里云上购买的免费SSL证书可应用于网站但不能应用于网站下的应用程序(虚拟目录),请问要怎么设置?

2019-12-11 11:49:33 735浏览量 回答数 2

1

回答

添加CDN后为什么gzip失效了?

2018-02-11 17:25:41 2494浏览量 回答数 1

7

回答

上海管局 App下载问题请教

2016-04-13 22:00:28 7416浏览量 回答数 7

1

回答

GP4.3后base目录下的数据库ID和oid不匹配

2016-03-29 12:53:12 2164浏览量 回答数 1

4

回答

请问各位资深程序员有关php后台无法登陆

2015-01-23 17:25:52 3901浏览量 回答数 4

3

回答

请问各位资深程序员有关php后台无法登陆

2015-01-23 17:24:22 4943浏览量 回答数 3

6

回答

装了WDCP破坏了原先的运行环境,求恢复!!求助!!

2014-07-13 01:10:58 10123浏览量 回答数 6
+关注
文章
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载