Sybase到GreenPlum迁移的POC

简介: 借客户数据,一次GreenPlum的POC体验

应客户一次需求,去客户现场做了次GreenPlum的POC。

GreenPlum环境是

  •    1台master
  •    6台segment host,每个host上2个segment实例

不过GreenPlum是装在一个有hadoop并存的机器上的,硬件资源不是很充足。


整个过程有三部:数据导出、数据导入、Query性能评价

  • 数据导出

   迁移的对象从Sybase导出数据。

   这里主要的内容有三个:文字编码转码、导出速度、分隔符的选择


   原来Sybase的编码是CP936,也就是GBK,因为GP/PG的server都不支持CP936,打算转成默认的UTF-8数据。起先用linux的iconv,发现超过20M的文件,就会转码失败。好在后来用kettle转码比较正常。

  sybase的bcp导出数据,有些慢。刚好周末两天,开了多个终端,同时导出,计划七天的数据,两天就做完了。

   至于分隔符,理想的是不可见字符,当时对PG的转义没搞清楚,暂时用了^。数据大都是从业务系统过来的,不会输入这样的内容

  • 数据load

   因为GP的一个亮点就在于IO的分离和并行。数据load过程也能体验到这种效果,所以数据load也作为POC内容。

   导出数据的存放,先后用了三种方式

   1.数据放在master上,从master导入数据 非常慢

   2.数据散落在6个segment host上,使用gpfdist启动服务,速度大幅改善

   3.找了一台独立的机器,使用gpdist服务,因为IO并行做的好,速度是最理想的


load是用的外部表的方式

   insert into 实表 select * from 外部表;

产生的错误不多,低于万分之一。


  • query

   实际query测试了下,性能跟sybase差不多。

   主要原因是GP的硬件资源没有配置好。

   1) segment实例太少,CPU多核没有充分利用

   2) 内存资源不足,mem长时间都是0的

   3)通过gpcheckperf来看,磁盘的IO也是很差的,读的速度只有80M/s


而query本身的特征,也存在分表的可能性。



    



   

目录
相关文章
|
存储 关系型数据库 MySQL
达梦(DM)数据迁移工具
讲述达梦数据库迁移工具使用
|
8月前
|
Oracle 关系型数据库 数据库
postgresql|数据库|数据迁移神器ora2pg的安装部署和初步使用
postgresql|数据库|数据迁移神器ora2pg的安装部署和初步使用
287 0
|
2月前
|
存储 SQL 数据库
Sybase数据恢复—Sybase数据库常见问题之数据库无法启动的恢复案例
Sybase数据库数据恢复环境: Sybase数据库版本:SQL Anywhere 8.0。 Sybase数据库故障&分析: Sybase数据库无法启动。 使用Sybase Central连接报错。 数据库数据恢复工程师经过检测,发现Sybase数据库出现故障的原因是:异常断电造成Sybase数据库无法回写正常数据,导致多个存储页数据不一致,系统表描述和存储表不一致,部分存储页底层数据完全杂乱。
|
SQL Oracle 关系型数据库
国产化人大金仓数据库转库工具:oracle12c数据库转kingbase8.6人大金仓数据库实例演示
国产化人大金仓数据库转库工具:oracle12c数据库转kingbase8.6人大金仓数据库实例演示
1062 0
国产化人大金仓数据库转库工具:oracle12c数据库转kingbase8.6人大金仓数据库实例演示
|
6月前
|
SQL 关系型数据库 分布式数据库
PolarDB产品使用问题之sql运行报错是神么原因
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
Oracle 关系型数据库 MySQL
OceanBase 数据库的企业版提供了 Oracle 到 MySQL 的迁移工具
OceanBase 数据库的企业版提供了 Oracle 到 MySQL 的迁移工具
172 2
|
Oracle 关系型数据库 数据库连接
Kingbase国产化数据库数据迁移:oracle11g数据库转库人大金仓数据库实例演示
Kingbase国产化数据库数据迁移:oracle11g数据库转库人大金仓数据库实例演示
373 0
|
8月前
|
SQL Oracle 关系型数据库
Oracle 到OceanBase 数据迁移OMS最佳实践
本文介绍Oracle 到OceanBase 数据迁移OMS最佳实践。
482 0
|
存储 SQL Oracle
【学习视频】第6期2019-Oracle迁移到PostgreSQL - 适合DBA与业务开发者
大家好,这里是《PG干O,仁心所象 - 去O实战培训》 公益活动纪录 - 《PG开发者指南、去O、管理与优化实践》
|
SQL Oracle 关系型数据库
Oracle/Mysql迁移到Postgresql事务回滚行为差异(开发避坑系列)
Mysql或Oracle迁移到Postgresql系产品后,经常会发生事务回滚导致的问题,具体问题一般都是类似于: **为什么我没rollback,我的事务就自己回滚了?** 下面我举一个简单的例子,说明下PG和其他两款DB在事务回滚行为上的差异 ## Oracle事务内报错后的行为 (完整代码贴在文章最后) ```java Class.fo
1075 0