AI 助理
备案控制台
开发者社区 数据库 文章 正文

时过境迁：Oracle跨平台迁移之XTTS方案与实践

2018-02-26 8236
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

**1
前期准备**


1.1. 检查数据库时区，保持两边一致 
select dbtimezone from dual;

DBTIME

------

+08:00

1.2. 检查数据库字符集，保持两边一致

select * from nls_database_parameterswhere parameter like '%CHARACTERSET%';

PARAMETER                      VALUE

------------------------------------------------------------------

NLS_CHARACTERSET               AL32UTF8

NLS_NCHAR_CHARACTERSET         UTF8

1.3. 检查目标端补丁情况

目标端 PSU无特殊需求，可以随情况安装最新即可。

select 'opatch',comments fromdba_registry_history

'OPATC COMMENTS

--------------------------------------------------------

opatch PSU 11.2.0.4.4

如果准备阶段使用 DBMS_FILE_TRANSFER方法，目标端建议安装的补丁如下：

Patch 19023822，修复目标端使用 DBMS_FILE_TRANSFER.GET_FILE包获取源端数据文件出现 ORA-03106 的情况。

Patch 22171097: MERGE REQUEST ON TOP OF DATABASE PSU11.2.0.4.6 FOR BUGS 17534365 19023822

如果准备阶段使用 RMAN 方法，目标端没有小补丁安装需求。

1.4. 检查组件安装情况，对于不一样的组件，需要有所标记

Select comp_name from dba_registry;

源端组件情况

COMP_NAME

--------------------------------------------------------------------------------

OracleApplication Express

OracleMultimedia

OracleXML Database

OracleExpression Filter

OracleRules Manager

OracleWorkspace Manager

OracleDatabase Catalog Views

OracleDatabase Packages and Types

JServerJAVA Virtual Machine

OracleXDK

OracleDatabase Java Packages

目标段组件情况

COMP_NAME

--------------------------------------------------------------------------------

OracleEnterprise Manager

OracleWorkspace Manager

OracleDatabase Catalog Views

OracleDatabase Packages and Types

备注：组件不同，可能导致源端的部分对象无法导入到目标端。

1.5. 检查是否使用了 Key Compression 的索引组织表

Key compression

Selectindex_name,table_name from dba_indexes where compression=’ENABLED’;

索引组织表

Select owner,table_namefrom dba_tables where iot_type is not null;

如果存在，目标端需要安装 Patch 14835322，否则索引组织表的对象无法导入到目标端。

目前该补丁只在 11.2.0.3 版本下提供，针对其他版本，如果 IOT表或者键值压缩索引无法导入时，建议在元数据导入完成后，将该类对象传输过去。

**1.6. 检查源端是否有 Cluster 对象
**

If the sourcecontains cluster objects, then run "analyze cluster &cluster_namevalidate structure cascade" after XTTS has been completed in the targetdatabase and if it reports an ORA-1499 open the trace file and review if it hasentries like:

kdcchk: indexpoints to block 0x01c034f2 slot 0x1 chain length is 256

kdcchk: chain count wrong 0x01c034f2.1 chain is 1 index says 256

last entry 0x01c034f2.1 blockcount = 1

kdavls: kdcchk returns 3 when checking cluster dba 0x01c034a1 objn 90376

Then to repairthis inconsistency either:

1. rebuild thecluster index.

or

2. Install fix bug 17866999 and run dbms_repair.repair_cluster_index_keycount

If afterrepairing the inconsistency the "analyze cluster &cluster_namevalidate structure cascade" still reports issues then recreate theaffected cluster which involves recreating its tables.

1.7. 检查 RMAN DEVICE TYPE DISK 是否配置 COMPRESSED

ORA-19837:invalid blocksize 0 in backup piece header

ORA-06512: at "SYS.X$DBMS_BACKUP_RESTORE", line 2338

ORA-06512: at line 40

配置压缩会导致以上报错，通过rman > show all; 检查

1.8. SYS、SYSTEM 用户是否有对象存在于业务表空间

如数据库用户 SYS、SYSTEM 在业务表空间上创建有对象，则这些对象不能通过 XTTS 迁移，需要在目标库手工创建。

select table_name, owner, tablespace_name from dba_tables where tablespace_name not in('SYSTEM','SYSAUX') and owner in ('SYS','SYSTEM');

1.9. 检查表空间自包含

在传输阶段可能因为目标端数据文件目录所限制，需要将各个表空间拆分进行传送，在导入元数据阶段，考虑到字包含特性，需要将所有的表空间汇总进行传送。

检查表空间时，只检查业务表空间的自包含情况；系统表空间，临时表空间，undo 表空间不在检查列。

exec dbms_tts.transport_set_check（'将所有需要传输的表空间名写在这里用逗号隔开' ,TRUE,True）;

select * fromtransport_set_violations;

1.10. 检查源端 Compatible 参数

source 端不可以是 windows P7，source 端的 COMPATIBLE.RDBMS 必须大于 10.2.0，且不大于目标端 COMPATIBLE.RDBMS

show parameter compatible

如果目标端数据库版本是 11.2.0.3 或更低。那么需要在目标端装 11.2.0.4 并创建实例，然后用来进行备份集转换。如果 11.2.0.4 中转实例使用 ASM。那么 ASM 版本也必须是 11.2.0.4，否则报错 ORA-15295。

1.11. 如果启用 Block Change Tracking 功能

该功能在源端数据量较大或者数据改变较大时启用，需要在源端安装补丁 Bug 16850197。

该补丁在以下版本 PSU中提供

2.0.3.9

2.0.4

如果源库是在上述版本前，需要安装个别补丁。

1.12. 检查目标端的 DB_FILES 参数

在元数据导入阶段，如果目标端的 DB_FILES 参数小于源端的 DB_FILES 参数，会导致元数据导入出错，所以要确保目标端参数比源端大于或者等于。

Show parameter db_files

1.13. 确认生产库的 recycle in 功能是关闭，并手工清空回收站

showparameter recyclebin;

           

NAME        TYPE                   VALUE

--------------------------------- --------

recyclebin  string                 on (这里应该为 off)

 

关闭回收站

alter systemset recyclebin=’off’ scope=both;

1.14. 数据文件状态检查

Select distinct status from v$datafile;

正常返回应为：ONLINE、SYSTEM。

2
XTTS 操作步骤

迁移步骤大致如下：

初始化阶段，配置参数文件

开启块追踪特性

准备阶段，进行数据全量同步

增量阶段，进行数据文件的增量同步

在停机同步前，在目标端新建 Owner 用户，临时表

传输阶段，最后一次增量同步，并导入元数据

将原库中的其余用户导入到目标端中

校验数据文件，检查有无坏块

3
RMAN 方式

注意：

使用 RMAN方式有一个严重的限制：同一批次的表空间传输到目标端后，都在同一个目录下，即目标端的最终存放数据文件的目录大小要足够存放一个批次中所有的表空间数据文件。

源端和目标端需要挂载存储用于存放所有数据文件的镜像文件，建议使用 NFS 的方式将存储远程从源端挂载到目标端，减少备份传送时间。

**3.1. 初始化阶段，配置参数文件
**

**3.1.1. 创建 Dest 端到 Source 端的 DBLINK
**
该步骤创立的 DBLINK用于在传输阶段的元数据导入时使用

ttslink=

  (DESCRIPTION =

    (ADDRESS =(PROTOCOL = TCP)(HOST = ip地址)(PORT = 1521))

   (CONNECT_DATA =

      (SERVER =DEDICATED)

     (SERVICE_NAME = 实例名)

    )

  )

create public database link ttslink connect to systemidentified by password using 'ttslink';

测试DBLINK的连通性



select * from v$version@ttslink;

来了

3.1.2. Source 端和 Dest 端创建目录用于存放 XTTS脚本

[oracle@source]$ pwd

/home/oracle/xtt

[oracle@source]$ unzip rman_xttconvert_v3.zip

Archive: rman_xttconvert_v3.zip

inflating: xtt.properties

inflating: xttcnvrtbkupdest.sql

inflating: xttdbopen.sql

inflating: xttdriver.pl

inflating: xttprep.tmpl

extracting: xttstartupnomount.sql

3.2. 开启块追踪特性

SQL> alter database enable block change trackingusing file '+datadg';

 

Database altered.

按照文档所示，开启这个特性后，使用 XTTS会触发 BUG16850197，需要安装个别补丁，但是目前该补丁只在 11.2.0.3.8 上有提供。

经过测试，其余版本没有触发 bug。

注意：

RAC 环境下，需要将块追踪文件存放在共享存储上，否则会导致 DFS LOCKHANDLE，导致实例异常。

3.3. 准备阶段，进行数据全量同步

3.3.1. 修改参数

源端平台 ID 查询

select * from v$transportable_platform

 

/home/oracle/xtt2/ xtt.properties

tablespaces=XTTS 需要大写

platformid=13

dfcopydir=/home/oracle/xtt2/dfcopydir

backupformat=/home/oracle/xtt2/backup

stageondest=/home/oracle/xtt2/stageondest

storageondest=/oggtest/oggtest

backupondest=/home/oracle/xtt2/backupondest

parallel=2

rollparallel=2

 

mkdir /home/oracle/xtt2/dfcopydir

mkdir /home/oracle/xtt2/backup

mkdir /home/oracle/xtt2/stageondest

mkdir /home/oracle/xtt2/backupondest

附录解释：

tablespaces=               ----需要迁移的表空间

platformid=           ----源 OS 平台 ID

dfcopydir=             ----源数据库备份文件存放目录

backupformat=            ---源数据库增备文件存放目录

stageondest=              ----目标据库备份文件存放目录

storageondest=         ----目标据库正式文件存放目录

backupondest=         ----目标据库增备文件存放目录

parallel=                ----备份，转化的并行度

rollparallel=             ----增备的并行度

getfileparallel=            ---- 使用 dbms_file_transfer 方式的并行度

3.3.2. 将 XTTS目录 Copy 传送到目标端

scp -r /home/oracle/xtt2 sprac2:/home/oracle

3.3.3. 设置 TMPDIR

If TMPDIR is not set, output files are created in andinput files are expected to be in /tmp.

[oracle@source]$ export TMPDIR=/home/oracle/xtt2

[oracle@dest]$ export TMPDIR=/home/oracle/xtt2

3.3.4. 源端 Prepare

perl /home/oracle/xtt2/xttdriver.pl -p

初始化之后产生 xttplan.txt rmanconvert.cmd

xttplan.txt 记录了当前 SCN，也就是下次需要增量的开始 SCN

rmanconvert.cmd 记录了文件转换的名字

3.3.5. 源端生成的数据文件 Copy 到目标端

scp dfcopydir/XTTS_10.tf sprac2:/home/oracle/xtt2/stageondest

**3.3.6. 转换数据文件 Copy 的 Endian 模式
**

export TMPDIR=/home/oracle/xtt2

scp rmanconvert.cmd sprac2:/home/oracle/xtt2

perl xttdriver.pl -c

转换成功之后会生成 xttnewdatafiles.txt

整个过程，存放在 stageondest 的 copy，将会转换写入到 storageondest 参数设置的最终存放点。转换完成后，copy 就可以删除了。

**3.4. 增量阶段，进行数据文件的增量同步
**

3.4.1. 源端创建增量备份

[oracle@sprac1 xtt2]$ perl xttdriver.pl -i

第一次增量备份之后产生的配置文件为 tsbkupmap.txt incrbackups.txt，这两个为增量与数据文件对应关系配置,在做增量恢复时候需要用到。增量备份文件放在了backupformat 指定位置。

**3.4.2. 传输增量备份到目标端
**

[oracle@sprac1 xtt2]$ scp `cat incrbackups.txt`sprac2:/home/oracle/xtt2/stageondest

3.4.3. 目标端应用增量备份

[oracle@sprac1 xtt2]$ scp xttplan.txt tsbkupmap.txtsprac2:/home/oracle/xtt2

[oracle@sprac2 xtt2]$ perl xttdriver.pl -r 目标端执行

3.4.4. 源端为之后的增量备份确定新的 SCN

[oracle@sprac1 xtt2]$ perl xttdriver.pl -s

该步骤会将 -i 时生成的 xttplan.txt.new 改名为 xttplan.txt，并将原来的 xttplan.txt 备份。

3.4.5. 重复前滚操作

重复操作步骤 3.4.1 - 3.4.4，恢复增量数据。

**3.5. 停机同步前，在目标端新建 Owner 用户
**

**3.5.1. 创建临时表空间
**
依照原库上的临时表空间大小，在目标端创建同名临时表空间。

3.5.2. 创建 Owner 用户

在源端执行下列语句

select 'create user '||name||' identified by values'''||password||''' default tablespace users temporary tablespace temp;' fromuser$ where name in (‘输入所需要创建的用户名’)

将生成的语句，在目标端执行，创建用户。

**3.6. 传输阶段，最后一次增量同步，并导入元数据
**

3.6.1. 将原库表空间置为只读状态

SQL> alter tablespace xtts read only;

3.6.2. 开始最后做增量备份

重复步骤 3.4.1 - 3.4.3，做最后的增量恢复。

3.6.3. 自定义 Role 处理

---自定义角色，Role（R_INIT_USER）

select GRANTED_ROLE from dba_role_privs whereGRANTEE='XTTS';

create role R_INIT_USER;

 

select 'grant '||PRIVILEGE||' to '||GRANTEE||';' fromdba_sys_privs where grantee='R_INIT_USER';

3.6.4. 自定义 Profile 处理

---执行源端保留的 profile 信息

set long 1000000

SET PAGESIZE 3000

set lines 200

SET HEADING OFF

SET VERIFY OFF

SET FEEDBACK OFF

set echo on

set timing off

set wrap On

SET LONGCHUNKSIZE 400

spool create_profile.sql

with profile as(

select distinct profile from dba_profiles)

select dbms_metadata.get_ddl('PROFILE',PROFILE) fromprofile;

3.6.5. 临时表处理

**---创建临时表

@temp_table.sql

源端生产库采集脚本，目标端执行

set long 1000000

SET PAGESIZE 3000

set lines 200

SET HEADING OFF

SET VERIFY OFF

SET FEEDBACK OFF

set echo on

set timing off

set wrap On

SET LONGCHUNKSIZE 400

select dbms_metadata.get_ddl('TABLE',TABLE_NAME,OWNER)

from DBA_TABLES

where TEMPORARY='Y' and owner in ();**

**3.6.6. 目标端导入元数据
**

3.6.6.1. 一次元数据导入

[oracle@sprac2 xtt2]$ perl xttdriver.pl -e

这个步骤会产生一个导入样本脚本 xttplugin.txt，需要修改如下：

在一次元数据导入阶段，不能开启并行，统计信息导入阶段，可以将会话杀除终止

cat xttplugin.txt

impdp directory=DATA_PUMP_DIRlogfile=tts_imp.log \

network_link=xttlinktransport_full_check=no \

transport_tablespaces=XTTS \

transport_datafiles='/oggtest/oggtest/XTTS_10.xtf' exclude=statistics

将统计信息排除，后面开启并行收集统计信息。

3.6.6.2. 二次元数据导入

将第一次没有导入的过程，视图，包，触发器导入。

impdp directory=DATA_PUMP_DIR logfile=tts_imp_2.lognetwork_link=xttlink schemas= 'XTTS' content=metadata_only  exclude=index,table,constraint,statistics

3.6.6.3. 重新在目标端搜集统计信息

execDBMS_STATS.GATHER_SCHEMA_STATS(ownname=>'XTTS',ESTIMATE_PERCENT=>5,method_opt=>'forall columns size 1',cascade=>true,force=>true,degree=>12);

**3.7. 将原库中的其余用户导入到目标端中，权限处理
**

使用如下脚本重新赋权

SET SERVEROUTPUT ON

SET LINESIZE 1000

SET FEEDBACK OFF

SET TRIMSPOOL ON

set long 999999            

SET PAGESIZE 1000

spool grant_role_priv.sql

select 'grant '||GRANTED_ROLE||' to '||grantee||';'from dba_role_privs where grantee in() and admin_option='NO'

union

select 'grant '||GRANTED_ROLE||' to '||grantee||' withadmin option;' from dba_role_privs where grantee in() and admin_option='YES';

spool off

SET SERVEROUTPUT ON

SET LINESIZE 1000

SET FEEDBACK OFF

set long 999999 

SET TRIMSPOOL ON

SET PAGESIZE 1000

spool grant_sys_priv.sql

select 'grant '||privilege||' to '||grantee||';' fromdba_sys_privs where grantee in() and admin_option='NO'

union

select 'grant '||privilege||' to '||grantee||' withadmin option;' from dba_sys_privs where grantee in()and admin_option='YES';

spool off

SET SERVEROUTPUT ON

SET LINESIZE 1000

SET FEEDBACK OFF

SET TRIMSPOOL ON

set long 999999            

SET PAGESIZE 1000

spool grant_tab_privs.sql

select 'grant ' || privilege || ' on ' || owner || '.'|| table_name || ' to ' || grantee || ';' from dba_tab_privs where grantee in()grantable='NO'

union

select 'grant ' || privilege || ' on ' || owner || '.'|| table_name || ' to ' || grantee || ' with grant option;' from dba_tab_privswhere grantee in() and grantable='YES'; 

spool off

3.8. 校验数据文件，检查有无坏块

RMAN> validate tablespace xtts check logical;

3.9. 编译无效对象，进行数据对比。

@$ORACLE_HOME/rdbms/admin/utlrp.sq

原文发布时间为：2018-02-25
本文作者：谢金融
本文来自云栖社区合作伙伴“数据和云”，了解相关信息可以关注“数据和云”微信公众号

文章标签：
关系型数据库
JavaScript
Oracle
数据库
Perl
关键词：
Oracle数据库一键上云迁移
Oracle数据库一键上云方案
Oracle数据库一键上云迁移方案
Oracle数据库一键上云实践
oracle数据库一键上云迁移实践
技术小能手
目录
相关文章
土木林森
|
3月前
|
SQL 运维 Oracle
【迁移秘籍揭晓】ADB如何助你一臂之力，轻松玩转Oracle至ADB的数据大转移？
【8月更文挑战第27天】ADB（Autonomous Database）是由甲骨文公司推出的自动化的数据库服务，它极大简化了数据库的运维工作。在从传统Oracle数据库升级至ADB的过程中，数据迁移至关重要。
土木林森
68 0
源码星辰
|
6月前
|
存储 Oracle 关系型数据库
oracle 数据库 迁移 mysql数据库
将 Oracle 数据库迁移到 MySQL 是一项复杂的任务，因为这两种数据库管理系统具有不同的架构、语法和功能。
源码星辰
110 0
小Lee
|
Oracle 关系型数据库 数据库
Flink CDC中oracle dataguard模式下，有没有cdc备库的方案？
Flink CDC中oracle dataguard模式下，有没有cdc备库的方案？
小Lee
186 1
阿里云社区
|
Oracle 关系型数据库 分布式数据库
如何从Oracle迁移到PolarDB(ADAM)（二）
如何从Oracle迁移到PolarDB(ADAM)（二）
阿里云社区
197 0
小小工匠
|
Oracle 关系型数据库 数据库
Oracle实例迁移_真实场景实操
Oracle实例迁移_真实场景实操
小小工匠
108 0
不背锅运维
|
SQL Prometheus 监控
意犹未尽的第2篇再次推出，继续讲解oracledb_exporter监控Oracle，一个入侵性极低的监控方案。
意犹未尽的第2篇再次推出，继续讲解oracledb_exporter监控Oracle，一个入侵性极低的监控方案。
不背锅运维
433 0
不背锅运维
|
Prometheus 监控 Oracle
oracledb_exporter监控Oracle，一个入侵性极低的监控方案。
oracledb_exporter监控Oracle，一个入侵性极低的监控方案。
不背锅运维
791 0
auqbllxiu
|
Oracle 关系型数据库 数据库
《ORACLE数据库和应用异构 迁移最佳实践》电子版地址
ORACLE数据库和应用异构 迁移最佳实践
auqbllxiu
77 0
《ORACLE数据库和应用异构 迁移最佳实践》电子版地址
lihongda
|
存储 Oracle 关系型数据库
异构迁移Oracle的前世今生——HuaweiCloud+UGO+DRS（三）
异构迁移Oracle的前世今生——HuaweiCloud+UGO+DRS
lihongda
186 0
异构迁移Oracle的前世今生——HuaweiCloud+UGO+DRS（三）
lihongda
|
SQL Oracle 关系型数据库
异构迁移Oracle的前世今生——HuaweiCloud+UGO+DRS（二）
异构迁移Oracle的前世今生——HuaweiCloud+UGO+DRS
lihongda
223 0
异构迁移Oracle的前世今生——HuaweiCloud+UGO+DRS（二）

热门文章

最新文章

  • 1
    oracle 11g RAC 安装前准备脚本
  • 2
    如何使用Oracle的COALESCE函数
  • 3
    Oracle集合运算
  • 4
    oracle临时表-优化查询速度
  • 5
    Oracle查询结果集无法被redis缓存序列化问题
  • 6
    解决一例oracle archiver error
  • 7
    备份及恢复Oracle 10g
  • 8
    ORACLE union order by
  • 9
    关于Oracle表及字段的注释 转
  • 10
    oracle express 11g 创建表空间
  • 1
    Oracle sqlplus failed on AIX platform(/usr/lib/lib
    35
  • 2
    Install ORACLE10g On AIX5L 5.2（转自LU）
    44
  • 3
    SAP系统拷贝 UNIX + Oracle
    54
  • 4
    oracle中文乱码问题
    32
  • 5
    oracle 数据库 迁移 mysql数据库
    110
  • 6
    DataWorks操作报错合集之尝试从Oracle数据库同步数据到TDSQL的PG版本，并遇到了与RAW字段相关的语法错误，该怎么处理
    99
  • 7
    DataWorks产品使用合集之在 DataWorks 中，使用Oracle作为数据源进行数据映射和查询，如何更改数据源为MaxCompute或其他类型
    74
  • 8
    MongoDB与Oracle：管道函数兼容之道
    67
  • 9
    Oracle索引知识看这一篇就足够
    179
  • 10
    Oracle 性能优化之AWR、ASH和ADDM(含报告生成和参数解读)
    464

    • 相关课程

    更多
  • PostgreSQL云上开发实践
  • 阿里云数据库产品家族及特性
  • 数据库备份DBS 产品功能介绍
  • Sqoop 企业级大数据迁移方案实战
  • 大咖说 - 开源数据库
  • MySQL企业常见架构与调优经验分享

    • 相关电子书

    更多
  • PostgresChina2018_樊文凯_ORACLE数据库和应用异构迁移最佳实践
  • PostgresChina2018_王帅_从Oracle到PostgreSQL的数据迁移
  • Oracle云上最佳实践

    • 相关实验场景

    更多
  • 体验PolarDB-X透明分布式
  • MySQL数据库快速部署实践
  • MySQL引擎及架构优化
  • 基于EBS部署高性能的MySQL服务
  • PolarDB for AI：在数据库中通过SQL实现AI能力
  • PolarDB for PostgreSQL 闪回特性体验

    • 推荐镜像

    更多
  • oracle
  • mysql
  • debian-archive
    • 下一篇
    阿里云OSS设置跨域访问