线下PG迁移到阿里云RDS PG - 兼容性、性能评估、迁移-阿里云开发者社区

开发者社区> 德哥> 正文

线下PG迁移到阿里云RDS PG - 兼容性、性能评估、迁移

简介:
+关注继续查看

标签

PostgreSQL , 迁移 , 阿里云RDS PG


背景

用户如果需要将线下的PG数据库迁移到阿里云RDS PG,应该评估哪些东西,如何迁移?

1 规格、性能评估

主要评估线下PG实例所在主机的性能指标

1、CPU主频

2、CPU核数

3、磁盘使用容量

4、网络带宽

5、磁盘读写IOPS

6、磁盘读写带宽

这些指标应该尽量与阿里云RDS PG对齐。

如果线下PG开启了异步提交时,对应的阿里云RDS PG IOPS可能需要更多(与每秒提交的写事务相关)。

2 兼容性评估

1、数据库版本

如果版本不一致,请参考PostgreSQL 版本的 release notes,看看有哪些不兼容的地方,一般不兼容的地方,PG会在release notes里面给出migration 方法。

2、插件

用户需要的插件,在RDS PG中是否存在,如果在RDS PG中没有,那么两种选择1. 提工单看是否可以加上插件,2. 看看业务上是否可以修正,去掉这个插件的依赖。

3、插件版本

线下PG与RDS PG的插件版本不一样时,建议根据插件的RELEASE NOTES,判断是否需要修改业务?

4、业务需要的数据库用户权限

(超级用户、OR 普通用户,。。。)

RDS PG给的最大权限是rds_superuser,权限介于数据库的superuser 与 普通用户之间。

5、本土化参数

这个主要与数据库有关,建库时,使用的是C还是其他本地化collation。collation决定了排序、货币格式等。

创建数据库时可以指定,如果模板库不是你要的,那么你需要用template0来创建。

postgres=# create database db1 with template=template0 encoding='SQL_ASCII' LC_COLLATE='C' LC_CTYPE='C' ;  
CREATE DATABASE  

https://www.postgresql.org/docs/10/static/charset.html

postgres=# \l+  
                                                                   List of databases  
   Name    |  Owner   | Encoding |  Collate   |   Ctype    |   Access privileges   |  Size   | Tablespace |                Description                   
-----------+----------+----------+------------+------------+-----------------------+---------+------------+--------------------------------------------  
 postgres  | postgres | UTF8     | en_US.UTF8 | en_US.UTF8 |                       | 127 GB  | pg_default | default administrative connection database  
 template0 | postgres | UTF8     | en_US.UTF8 | en_US.UTF8 | =c/postgres          +| 7561 kB | pg_default | unmodifiable empty database  
           |          |          |            |            | postgres=CTc/postgres |         |            |   
 template1 | postgres | UTF8     | en_US.UTF8 | en_US.UTF8 | =c/postgres          +| 7561 kB | pg_default | default template for new databases  
           |          |          |            |            | postgres=CTc/postgres |         |            |   
(3 rows)  

同时对于wchar的模糊查询,也需要用collate 非 C设置。

《PostgreSQL 模糊查询最佳实践 - (含单字、双字、多字模糊查询方法)》

6、数据库字符集

如果线上线下字符集不一致,需要字符集转换。建议使用一致的字符集。创建数据库时可以指定。

postgres=# \l+  
                                                                   List of databases  
   Name    |  Owner   | Encoding |  Collate   |   Ctype    |   Access privileges   |  Size   | Tablespace |                Description                   
-----------+----------+----------+------------+------------+-----------------------+---------+------------+--------------------------------------------  
 postgres  | postgres | UTF8     | en_US.UTF8 | en_US.UTF8 |                       | 127 GB  | pg_default | default administrative connection database  
 template0 | postgres | UTF8     | en_US.UTF8 | en_US.UTF8 | =c/postgres          +| 7561 kB | pg_default | unmodifiable empty database  
           |          |          |            |            | postgres=CTc/postgres |         |            |   
 template1 | postgres | UTF8     | en_US.UTF8 | en_US.UTF8 | =c/postgres          +| 7561 kB | pg_default | default template for new databases  
           |          |          |            |            | postgres=CTc/postgres |         |            |   
(3 rows)  
postgres=# create database db1 with template=template0 encoding='SQL_ASCII' LC_COLLATE='C' LC_CTYPE='C' ;  
CREATE DATABASE  

7、CLIENT相关的参数

这些参数决定了一些使用上的风格,建议迁移前后做一下对比,保证兼容。

比如bytea_output,可以选择为十六进制输出,也可以选择为转义输出格式。

#------------------------------------------------------------------------------  
# CLIENT CONNECTION DEFAULTS  
#------------------------------------------------------------------------------  
  
# - Statement Behavior -  
  
#search_path = '"$user", public'        # schema names  
#row_security = on  
#default_tablespace = ''                # a tablespace name, '' uses the default  
#temp_tablespaces = ''                  # a list of tablespace names, '' uses  
                                        # only default tablespace  
#check_function_bodies = on  
#default_transaction_isolation = 'read committed'  
#default_transaction_read_only = off  
#default_transaction_deferrable = off  
#session_replication_role = 'origin'  
#statement_timeout = 0                  # in milliseconds, 0 is disabled  
#lock_timeout = 0                       # in milliseconds, 0 is disabled  
#idle_in_transaction_session_timeout = 0        # in milliseconds, 0 is disabled  
#vacuum_freeze_min_age = 50000000  
#vacuum_freeze_table_age = 150000000  
#vacuum_multixact_freeze_min_age = 5000000  
#vacuum_multixact_freeze_table_age = 150000000  
#bytea_output = 'hex'                   # hex, escape  
#xmlbinary = 'base64'  
#xmloption = 'content'  
#gin_fuzzy_search_limit = 0  
#gin_pending_list_limit = 4MB  
  
# - Locale and Formatting -  
  
datestyle = 'iso, mdy'  
#intervalstyle = 'postgres'  
timezone = 'PRC'  
#timezone_abbreviations = 'Default'     # Select the set of available time zone  
                                        # abbreviations.  Currently, there are  
                                        #   Default  
                                        #   Australia (historical usage)  
                                        #   India  
                                        # You can create your own file in  
                                        # share/timezonesets/.  
#extra_float_digits = 0                 # min -15, max 3  
#client_encoding = sql_ascii            # actually, defaults to database  
                                        # encoding  
  
# These settings are initialized by initdb, but they can be changed.  
lc_messages = 'en_US.UTF8'                      # locale for system error message  
                                        # strings  
lc_monetary = 'en_US.UTF8'                      # locale for monetary formatting  
lc_numeric = 'en_US.UTF8'                       # locale for number formatting  
lc_time = 'en_US.UTF8'                          # locale for time formatting  
  
# default configuration for text search  
default_text_search_config = 'pg_catalog.english'  
# - Shared Library Preloading -  
  
#shared_preload_libraries = ''  # (change requires restart)  
#local_preload_libraries = ''  
#session_preload_libraries = ''  
  
# - Other Defaults -  
  
#dynamic_library_path = '$libdir'  
  
#jit = on                               # allow JIT compilation  
#jit_provider = 'llvmjit'               # JIT implementation to use  
#------------------------------------------------------------------------------  
# VERSION AND PLATFORM COMPATIBILITY  
#------------------------------------------------------------------------------  
  
# - Previous PostgreSQL Versions -  
  
#array_nulls = on  
#backslash_quote = safe_encoding        # on, off, or safe_encoding  
#default_with_oids = off  
#escape_string_warning = on  
#lo_compat_privileges = off  
#operator_precedence_warning = off  
#quote_all_identifiers = off  
#standard_conforming_strings = on  
#synchronize_seqscans = on  
  
# - Other Platforms and Clients -  
  
#transform_null_equals = off  
#------------------------------------------------------------------------------  
# CUSTOMIZED OPTIONS  
#------------------------------------------------------------------------------  
  
# Add settings for extensions here  

3 迁移

大致步骤如下

1、测试迁移,全量数据迁移

2、全链路测试

3、清除数据,正式迁移数据

4、比对数据一致性

增量迁移可以考虑阿里云的工具,如rds_dbsync, DTS服务,或者采用pglogical。

https://help.aliyun.com/document_detail/26624.html

参考

https://www.postgresql.org/docs/10/static/charset.html

《PostgreSQL 模糊查询最佳实践 - (含单字、双字、多字模糊查询方法)》

《[未完待续] PostgreSQL pglogical 逻辑复制实现跨版本升级》

《MySQL准实时同步到PostgreSQL, Greenplum的方案之一 - rds_dbsync》

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
惊天性能!单实例RDS PostgreSQL 支撑 2000亿 实时标签透视案例
标签 PostgreSQL , varbitx , 标签 , 任意圈选 , 阿里云 , RDS , bitmap , 分段 , 并行计算 , 异步调用 , dblink , 异步dblink , 游标 背景 20亿用户,每个用户1000个标签,基于任意标签组合圈选、透视(业务上的需求是一次最多计算100个标签的组合)。
3082 0
mqc
Android API兼容性指南
Android API Levels 在本文中,API的级别是什么?在Android中使用API级别,开发者需要考虑的内容,应用程序的向前兼容性,应用程序的向后兼容性,平台版本和API级别的选择,声明最低API级别,针对高版本的API级别测试,使用临时的API级别,通过API级别进行文档内容过滤。
1849 0
RDS for MySQL 字符序(collation)引发的性能问题
经常会遇到的 RDS 实例性能问题(比如 RDS 实例 CPU 使用率高),而其中有一类是由于字符集的字符排序规则不一致导致的。这类问题如何定位,如何解决?田杰带你来解决这类问题哦。
7284 0
mqc
Android API兼容性栗子
Android 版本更替,新的版本带来新的特性,新的方法。 新的方法带来许多便利,但无法在低版本系统上运行,如果兼容性处理不恰当,APP在低版本系统上,运行时将会crash。 本文以一个具体的例子说明如何在使用高API level的方法时处理好兼容性问题。
3417 0
阿里云弹性高性能计算产品商业化正式发布
来自全国500多家企业申请试用,结合客户的体验需求和反馈意见,不断地改善和打磨,弹性高性能计算商业版有了很大的优化,在产品性能和体验上都有全新的升级。
3451 0
+关注
德哥
公益是一辈子的事, I'm digoal, just do it.
2153
文章
245
问答
来源圈子
更多
阿里云数据库:帮用户承担一切数据库风险,给您何止是安心!支持关系型数据库:MySQL、SQL Server、PostgreSQL、PPAS(完美兼容Oracle)、自研PB级数据存储的分布式数据库Petadata、自研金融级云数据库OceanBase支持NoSQL数据库:MongoDB、Redis、Memcache更有褚霸、丁奇、德哥、彭立勋、玄惭、叶翔等顶尖数据库专家服务。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载