传统路径导出 VS 直接路径导出(oracle exp direct=y)

本文涉及的产品
传统型负载均衡 CLB,每月750个小时 15LCU
应用型负载均衡 ALB,每月750个小时 15LCU
网络型负载均衡 NLB,每月750个小时 15LCU
简介:       Oracle 传统的Export与Import依旧被保留到11g,而且9i与10g有很多依旧使用Export与Import方式进行备份与恢复的企业。

      Oracle 传统的Export与Import依旧被保留到11g,而且9i与10g有很多依旧使用Export与Import方式进行备份与恢复的企业。从Oracle 7.3开始,传统的exp导出程序提供两种的导出路径方式,一个是传统路径导出(Conventional Path Export),一个是直接路径导出(Direct Path Export)。本文即是因最近客户的传统导入导出性能问题对此进行描述。

 

1、两者的差异
    a、 Conventional path Export
        传统路径模式使用SQL SELECT语句抽取表数据。数据从磁盘读入到buffer cache缓冲区中,行被转移到评估缓冲区。
        在此之后根据SQL表达式,将记录返回给导出客户端,然后写入到dump文件。
   
    b、Direct path Export
       直接导出模式,数据直接从磁盘中读取到导出session的PGA中,行被直接转移到导出session的私有缓冲区,从而跳过SQL命令处理层。
       避免了不必要的数据转换。最后记录返回给导出客户端,写到dump文件。
      
2、性能问题
    a、直接路径导出方式比传统路径方式具有更优的性能,速度更快,因为绕过了SQL命令处理部分。
    b、直接路径导出方式支持RECORDLENGTH参数(最大为64k),该参数值通常建议设置为系统I/O或者DB_BLOCK_SIZE的整数倍
    c、影响直接路径导出的具体因素(DB_BLOCK_SIZE,列的类型,I/O性能,即数据文件所在的磁盘驱动器是否单独于dump文件所在的磁盘驱动器)
    d、无论是直接路径导出还是传统路径导出产生的dump,在使用imp方式导入时,会耗用相同的时间

 

3、简单示例
    > exp system/manager FILE=exp_full.dmp LOG=exp_full.log \
    FULL=y DIRECT=y RECORDLENGTH=65535
  
    > imp system/manager FILE=exp_full.dmp LOG=imp_full.log \
    FULL=y RECORDLENGTH=65535 

 

4、直接路径导出的限制
    a、直接路径导出不支持交互模式
    b、不支持表空间传输模式(即TRANSPORT_TABLESPACES=Y不被支持),支持的是FULL,OWNER,TABLES导出方式
    c、不支持QUERY查询方式,如exp scott/tiger TABLES=emp QUERY=\"WHERE job=\'SALESMAN\' \" 不被支持
    d、直接路径导出使用RECORDLENGTH设置一次可以导出数据的量,取代传统路径使用buffer的设置
    e、直接路径导出要求NLS_LANG环境参数等于数据库字符集,负责收到EXP-41警告及EXP-0终止错误

 

5、演示两种方式性能差异

a、传统路径导出与直接路径导出性能对比
#下面直接进行日志对比
robin@SZDB:/u02/database/SYBO2SZ/BNR/dump> more dump1.log 
Start to dump at Fri Jun 21 15:32:57 CST 2013 ....

Connected to: Oracle Database 10g Release 10.2.0.3.0 - 64bit Production
Export done in US7ASCII character set and UTF8 NCHAR character set
server uses UTF8 character set (possible charset conversion)

About to export specified tables via Conventional Path ...#这个地方是关键描述信息,指明了导出方式
. . exporting table           TRADE_CLIENT_TBL_ARC    1395093 rows exported #数据139万行
Export terminated successfully with warnings.

End dump at Fri Jun 21 15:34:31 CST 2013 .    #耗用时间15:34:31-15:32:57=不到2min

# Author : Robinson
# Blog   : http://blog.csdn.net/robinson_0612

robin@SZDB:/u02/database/SYBO2SZ/BNR/dump> more dump2.log 
Start to dump at Fri Jun 21 15:37:13 CST 2013 ....

Connected to: Oracle Database 10g Release 10.2.0.3.0 - 64bit Production
Export done in US7ASCII character set and UTF8 NCHAR character set
server uses UTF8 character set (possible charset conversion)

About to export specified tables via Direct Path ...#这个地方是关键描述信息,指明了导出方式
. . exporting table           TRADE_CLIENT_TBL_ARC    1395093 rows exported
Export terminated successfully with warnings.

End dump at Fri Jun 21 15:37:30 CST 2013 .   #耗用时间15:37:30-15:37:13 =17s

b、演示对lob数据类型的支持
scott@SYBO2SZ> create table scott.testtab2 (nr number, txt clob);

Table created.

scott@SYBO2SZ> declare
  2  x varchar2(50);
  3  begin
  4  for i in 1..5000 loop
  5  x := 'This is a line with the number: ' || i;
  6  insert into scott.testtab2 values(i,x);
  7  commit;
  8    end loop;
  9  end;
 10  /

PL/SQL procedure successfully completed.

scott@SYBO2SZ> select count(*) from testtab2;

  COUNT(*)
----------
      5000

robin@SZDB:/u02/database/SYBO2SZ/BNR/dump> exp scott/tiger file=exp_testtab2.dmp tables=scott.testtab2 direct=y

Export: Release 10.2.0.3.0 - Production on Fri Jun 21 11:56:37 2013

Copyright (c) 1982, 2005, Oracle.  All rights reserved.


Connected to: Oracle Database 10g Release 10.2.0.3.0 - 64bit Production
Export done in US7ASCII character set and UTF8 NCHAR character set
server uses UTF8 character set (possible charset conversion)

About to export specified tables via Direct Path ...
Table TESTTAB2 will be exported in conventional path.
. . exporting table                       TESTTAB2       5000 rows exported
Export terminated successfully without warnings.      
 

Oracle 牛鹏社

 

6、相关参考
    数据泵 EXPDP 导出工具的使用
    数据泵 IMPDP 导入工具的使用
    expdp impdp中 exclude/include 的使用
    使用 Oracle Datapump API 实现数据导出
    导入导出 Oracle 分区表数据

    Oracle datapump expdp/impdp 导入导出数据库时hang住

    使用datapump 导出导入同义词(export and import synonym using datapump)

 

更多参考

有关Oracle RAC请参考
     使用crs_setperm修改RAC资源的所有者及权限
     使用crs_profile管理RAC资源配置文件
     RAC 数据库的启动与关闭
     再说 Oracle RAC services
     Services in Oracle Database 10g
     Migrate datbase from single instance to Oracle RAC
     Oracle RAC 连接到指定实例
     Oracle RAC 负载均衡测试(结合服务器端与客户端)
     Oracle RAC 服务器端连接负载均衡(Load Balance)
     Oracle RAC 客户端连接负载均衡(Load Balance)
     ORACLE RAC 下非缺省端口监听配置(listener.ora tnsnames.ora)
     ORACLE RAC 监听配置 (listener.ora tnsnames.ora)
     配置 RAC 负载均衡与故障转移
     CRS-1006 , CRS-0215 故障一例 
     基于Linux (RHEL 5.5) 安装Oracle 10g RAC
     使用 runcluvfy 校验Oracle RAC安装环境

有关Oracle 网络配置相关基础以及概念性的问题请参考:
     配置非默认端口的动态服务注册
     配置sqlnet.ora限制IP访问Oracle
     Oracle 监听器日志配置与管理
     设置 Oracle 监听器密码(LISTENER)
     配置ORACLE 客户端连接到数据库

有关基于用户管理的备份和备份恢复的概念请参考
     Oracle 冷备份
     Oracle 热备份
     Oracle 备份恢复概念
     Oracle 实例恢复
     Oracle 基于用户管理恢复的处理
     SYSTEM 表空间管理及备份恢复
     SYSAUX表空间管理及恢复
     Oracle 基于备份控制文件的恢复(unsing backup controlfile)

有关RMAN的备份恢复与管理请参考
     RMAN 概述及其体系结构
     RMAN 配置、监控与管理
     RMAN 备份详解
     RMAN 还原与恢复
     RMAN catalog 的创建和使用
     基于catalog 创建RMAN存储脚本
     基于catalog 的RMAN 备份与恢复
     RMAN 备份路径困惑
     使用RMAN实现异机备份恢复(WIN平台)
     使用RMAN迁移文件系统数据库到ASM
     linux 下RMAN备份shell脚本
     使用RMAN迁移数据库到异机

有关ORACLE体系结构请参考
     Oracle 表空间与数据文件
     Oracle 密码文件
     Oracle 参数文件
     Oracle 联机重做日志文件(ONLINE LOG FILE)
     Oracle 控制文件(CONTROLFILE)
     Oracle 归档日志
     Oracle 回滚(ROLLBACK)和撤销(UNDO)
     Oracle 数据库实例启动关闭过程
     Oracle 10g SGA 的自动化管理
     Oracle 实例和Oracle数据库(Oracle体系结构) 

相关实践学习
使用CloudLens观测ALB下的网站访问情况
通过本实验,您可搭建网站,并使用ALB进行负载均衡,同时使用CloudLens for ALB一键采集ALB日志,进行ALB 7层日志分析、秒级监控指标分析、基于AIOps的自动异常巡检等操作。
负载均衡入门与产品使用指南
负载均衡(Server Load Balancer)是对多台云服务器进行流量分发的负载均衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
目录
相关文章
|
9月前
|
Oracle 关系型数据库 数据库
9-2 Oracle数据库(表)的逻辑备份与恢复 --导出与导入
9-2 Oracle数据库(表)的逻辑备份与恢复 --导出与导入
129 1
|
8月前
Oracle11G用EXP导出时,空表不能导出解决
Oracle11G用EXP导出时,空表不能导出解决
|
1月前
|
存储 SQL Oracle
oracle 存储过程导出sql语句 导出为文件
oracle 存储过程导出sql语句 导出为文件
117 0
|
2月前
|
SQL Oracle 关系型数据库
Oracle 数据泵导出导入(映射表空间、Schema)
Oracle 数据泵导出导入(映射表空间、Schema)
|
8月前
|
Oracle 关系型数据库 数据库
oracle导入时IMP-00010: 不是有效的导出文件, 头部验证失败
oracle导入时IMP-00010: 不是有效的导出文件, 头部验证失败
172 1
|
2月前
|
SQL Oracle 关系型数据库
Oracle - Spool导出数据到TXT文件
Oracle - Spool导出数据到TXT文件
79 0
|
9月前
|
SQL Oracle 关系型数据库
导出Oracle数据库sqlplus命令行查询的结果到文件
导出Oracle数据库sqlplus命令行查询的结果到文件
360 0
|
11月前
|
Oracle 关系型数据库 数据库
通过数据泵expdp、impdp方式备份与还原(导出与导入)Oracle数据库
通过数据泵expdp、impdp方式备份与还原(导出与导入)Oracle数据库