PLSQL_数据泵导入导出数据Impdp/ Expdp(概念)

简介: 2014-08-31 Created By BaoXinjian 一、摘要 在平常备库和数据库迁移的时候,当遇到大的数据库的时候在用exp的时候往往是需要好几个小时,耗费大量时间。oracle10g以后可以用expdp来导出数据库花费的时间要远小于exp花费的时间,而且文件也要小很多。

2014-08-31 Created By BaoXinjian

一、摘要


在平常备库和数据库迁移的时候,当遇到大的数据库的时候在用exp的时候往往是需要好几个小时,耗费大量时间。oracle10g以后可以用expdp来导出数据库花费的时间要远小于exp花费的时间,而且文件也要小很多。

 

二、exp/imp与expdp/impdp区别


(1) 把用户usera的对象导到用户userb,用法区别在于fromuser=usera touser=userb ,remap_schema=’usera’:'usera’ 。

例如:imp system/passwd fromuser=usera touser=userb file=/oracle/exp.dmp log=/oracle/exp.log;

      impdp system/passwd directory=expdp dumpfile=expdp.dmp remap_schema=’usera’:'userb’ logfile=/oracle/exp.log;

(2) 更换表空间,用exp/imp的时候,要想更改表所在的表空间,需要手工去处理一下,

如alter table xxx move tablespace_new之类的操作。

用impdp只要用remap_tablespace=’tabspace_old’:'tablespace_new’

(3) 当指定一些表的时候,使用exp/imp 时,tables的用法是 tables=(‘table1′,’table2′,’table3′)。

expdp/impdp的用法是tables=’table1′,’table2′,’table3′

(4) 是否要导出数据行

exp (ROWS=Y 导出数据行,ROWS=N 不导出数据行)

expdp content(ALL:对象+导出数据行,DATA_ONLY:只导出对象,METADATA_ONLY:只导出数据的记录)

(5) expdp是[10g]的新特性而且只能在服务器执行。而exp/imp是通用的。

(6) oracle11g中有个新特性,当表无数据时,不分配segment,以节省空间,所以exp导不出空表。解决的办法是用expdp, 当然也可以设置deferred_segment_creation 参数 或者 insert一行,再rollback,但是这样很麻烦。

 

三、导出数据


1. 导出expdb的过程

(1). 按用户导

        expdp scott/tiger@orcl schemas=scott dumpfile=expdp.dmp DIRECTORY=dpdata1;

(2). 并行进程parallel

        expdp scott/tiger@orcl directory=dpdata1 dumpfile=scott3.dmp parallel=40 job_name=scott3

(3). 按表名导

        expdp scott/tiger@orcl TABLES=emp,dept dumpfile=expdp.dmp DIRECTORY=dpdata1;

(4). 按查询条件导

        expdp scott/tiger@orcl directory=dpdata1 dumpfile=expdp.dmp Tables=emp query='WHERE deptno=20';

(5). 按表空间导

        expdp system/manager DIRECTORY=dpdata1 DUMPFILE=tablespace.dmp TABLESPACES=temp,example;

(6). 导整个数据库

        expdp system/manager DIRECTORY=dpdata1 DUMPFILE=full.dmp FULL=y;

 

 

2. 参数说明 - 导出expdb

(1). CONTENT:该选项用于指定要导出的内容.默认值为ALL

      CONTENT={ALL | DATA_ONLY | METADATA_ONLY}

      当设置CONTENT为ALL 时,将导出对象定义及其所有数据.为DATA_ONLY时,只导出对象数据,为METADATA_ONLY时,只导出对象定义

(2). DIRECTORY:指定转储文件和日志文件所在的目录:DIRECTORY=directory_object

(3). EXCLUDE:该选项用于指定执行操作时释放要排除对象类型或相关对象

      EXCLUDE=object_type[:name_clause] [,….]

      Object_type用于指定要排除的对象类型,name_clause用于指定要排除的具体对象.EXCLUDE和INCLUDE不能同时使用

      Expdp scott/tiger DIRECTORY=dump DUMPFILE=a.dup EXCLUDE=VIEW

(4). INCLUDE:导出时包含指定的类型

        (例:INCLUDE=TABLE_DATA,

             INCLUDE=TABLE:"LIKE 'TAB%'"

             INCLUDE=TABLE:”NOT LIKE ‘TAB%’”…)

             EXCLUDE:导出时排除的数据类型(例:EXCLUDE=TABLE:EMP)

(5). FILESIZE:指定导出文件的最大尺寸,默认为0,(表示文件尺寸没有限制)(单位为bytes).

(6). JOB_NAME:此次导出进程使用的名称,方便跟踪查询(可选)

(7). FLASHBACK_SCN:指定导出特定SCN时刻的表数据

       FLASHBACK_SCN=scn_value:Scn_value用于标识SCN值.FLASHBACK_SCN和FLASHBACK_TIME不能同时使用

       Expdp scott/tiger DIRECTORY=dump DUMPFILE=a.dmp

       FLASHBACK_SCN=358523

(8). FLASHBACK_TIME:指定导出特定时间点的表数据:FLASHBACK_TIME=“TO_TIMESTAMP(time_value)”

       Expdp scott/tiger DIRECTORY=dump DUMPFILE=a.dmp FLASHBACK_TIME=“TO_TIMESTAMP(’25-08-2004 14:35:00’,’DD-MM-YYYY HH24:MI:SS’)”

(9). TABLESPACE:指定一个表空间导出.

(10). QUERY=[schema.] [table_name:] query_clause

        Schema用于指定方案名,table_name用于指定表名,query_clause用于指定条件限制子句.QUERY选项不能与 CONNECT=METADATA_ONLY,EXTIMATE_ONLY,TRANSPORT_TABLESPACES等选项同时使用.

        Expdp scott/tiger directory=dump dumpfiel=a.dmp Tables=emp query=’WHERE deptno=20’

(11). PARALLEL:并行操作: 指定执行导出操作的并行进程个数,默认值为1

 

 

3. 总结

可以通过PARALLEL 参数为导出使用一个以上的线程来显著地加速作业。每个线程创建一个单独的转储文件,因此参数dumpfile 应当拥有和并行度一样多的项目。

可以指定通配符作为文件名,而不是显式地输入各个文件名,例如:

expdp ananda/abc123 tables=CASES directory=DPDATA1 dumpfile=expCASES_%U.dmp parallel=4 job_name=Cases_Export

注意:dumpfile 参数拥有一个通配符%U,它指示文件将按需要创建,格式将为expCASES_nn.dmp,其中nn 从01 开始,然后按需要向上增加。

在并行模式下,状态屏幕将显示四个工作进程。(在默认模式下,只有一个进程是可见的)所有的工作进程同步取出数据,并在状态屏幕上显示它们的进度。

分离访问数据文件和转储目录文件系统的输入/输出通道是很重要的。否则,与维护Data Pump 作业相关的开销可能超过并行线程的效益,并因此而降低性能。并行方式只有在表的数量多于并行值并且表很大时才是有效的。

 

四、还原数据


1. 导入impdp的过程

(1). 导到指定用户下

        impdp scott/tiger DIRECTORY=dpdata1 DUMPFILE=expdp.dmp SCHEMAS=scott;

(2). 改变表的owner

        impdp system/manager DIRECTORY=dpdata1 DUMPFILE=expdp.dmp TABLES=scott.dept REMAP_SCHEMA=scott:system TABLE_EXISTS_ACTION=TRUNCATE;

(3). 导入表空间

        impdp system/manager DIRECTORY=dpdata1 DUMPFILE=tablespace.dmp TABLESPACES=example;

(4). 导入数据库

        impdb system/manager DIRECTORY=dump_dir DUMPFILE=full.dmp FULL=y;

(5). 追加数据

        impdp system/manager DIRECTORY=dpdata1 DUMPFILE=expdp.dmp SCHEMAS=system TABLE_EXISTS_ACTION

 

2. 参数说明 - 导入impdp

(1). TABBLE_EXISTS_ACTION={SKIP | APPEND | TRUNCATE | FRPLACE }

当设置该选项为SKIP时,导入作业会跳过已存在表处理下一个对象;

当设置为APPEND时,会追加数据;

当设置为TRUNCATE时,导入作业会截断表,然后为其追加新数据;

当设置为REPLACE时,导入作业会删除已存在表,重建表病追加数据;

注意,TRUNCATE选项不适用与簇表和NETWORK_LINK选项;

(2). REMAP_SCHEMA

该选项用于将源方案的所有对象装载到目标方案中:REMAP_SCHEMA=source_schema:target_schema

(3). REMAP_TABLESPACE

将源表空间的所有对象导入到目标表空间中:REMAP_TABLESPACE=source_tablespace:target:tablespace

(4). REMAP_DATAFILE

该选项用于将源数据文件名转变为目标数据文件名,在不同平台之间搬移表空间时可能需要该选项.

REMAP_DATAFIEL=source_datafie:target_datafile

 
四、案例 - 从PROD中导出数据,后导入SIT环境中


Step1. 创建逻辑目录,该命令不会在操作系统创建真正的目录,最好以system等管理员创建。

create directory dpdata as '/home/oracle/expdb';

Step2. 查看管理理员目录(同时查看操作系统是否存在,因为Oracle并不关心该目录是否存在,如果不存在,则出错)

select * from dba_directories;

Step3. 给scott用户赋予在指定目录的操作权限,最好以system等管理员赋予。

grant read,write on directory dpdata to oracle;

Step4. 在PROD测试表中导入10条记录,并导出

create table scott.emp (
  emp_id number,
  name varchar2(50),     
  sex varchar(2),
  age number,
  country varchar(10),
  salary number
);
begin
  insert into scott.emp values (1, 'baoxinjian1', 'M', 27, 'China', 10000);
  insert into scott.emp values (1, 'baoxinjian1', 'M', 27, 'China', 20000);
  insert into scott.emp values (1, 'baoxinjian1', 'M', 27, 'China', 30000);
  insert into scott.emp values (1, 'baoxinjian1', 'M', 27, 'China', 40000);
  insert into scott.emp values (1, 'baoxinjian1', 'M', 27, 'China', 50000);
  insert into scott.emp values (1, 'baoxinjian1', 'M', 27, 'China', 60000);
  insert into scott.emp values (1, 'baoxinjian1', 'M', 27, 'China', 70000);
  insert into scott.emp values (1, 'baoxinjian1', 'M', 27, 'China', 80000);
  insert into scott.emp values (1, 'baoxinjian1', 'M', 27, 'China', 90000);
end;
commit;

Step5. 导出为dmp文件,上传至SIT

expdp sys/oracle@gavinprod TABLES=scott.emp dumpfile=empexpdp.dmp DIRECTORY=dpdata;

 Step6. 查看导出log内容

 

Step7. 将数据文件上传至SIT环境

 

Step8. 进行上传

impdp sys/oracle DIRECTORY=dpdata DUMPFILE=empexpdp.dmp SCHEMAS=sys;

 Step9. 查看导入Log日志内容

 

Step10. 查看数据库表是否成功

 

Thanks and Regards

参考: http://blog.chinaunix.net/uid-16844439-id-3213672.html

参考:http://www.2cto.com/database/201202/120126.html

参考:http://czmmiao.iteye.com/blog/2041703

ERP技术讨论群: 288307890
技术交流,技术讨论,欢迎加入
Technology Blog Created By Oracle ERP - 鲍新建
相关文章
|
存储 SQL Oracle
Oracle使用expdp/impdp实现全库导入导出的整体流程
Oracle的全库导入,首先一点必须先创建数据库,创建了数据库,才能往该数据库导入所有数据。相对来说,使用Oracle进行数据导入导出还很有些“麻烦”的,大多数资料上来就是......
14282 0
Oracle使用expdp/impdp实现全库导入导出的整体流程
|
网络协议 Linux Windows
linux(三十四)网络管理命令ifconfig、lspci
linux(三十四)网络管理命令ifconfig、lspci
412 1
|
5月前
|
数据可视化 项目管理 开发工具
《Godot轻量化开发的全流程进阶指南》
本文聚焦Godot引擎在独立游戏开发中的核心价值,围绕其轻量化特性、场景树结构、性能优化能力、插件扩展生态、叙事适配优势及设计哲学展开深度解析。不同于主流商业引擎的厚重与高门槛,Godot以小巧体积、直观操作和开源特性,为独立开发者破解创意落地难题。文章结合实际开发逻辑,阐述场景树的高效管理、可视化性能优化、灵活插件定制等实用亮点,以及其在叙事类游戏开发中对剧情沉浸感的提升作用。
616 4
|
9月前
|
人工智能 自然语言处理 算法
基于 3D+AI 的商场导航软件核心技术解决方案
本文通过解析商场室内导航系统 3D+AI 三大核心技术模块,提供可直接复用的工程解决方案
336 0
基于 3D+AI 的商场导航软件核心技术解决方案
|
缓存 前端开发 安全
探索现代Web开发中的前端架构模式
【6月更文挑战第23天】随着互联网技术的飞速发展,前端架构在Web开发中扮演着越来越重要的角色。本文将深入探讨现代Web开发中使用的几种主流前端架构模式,包括单页面应用(SPA)、微前端架构和JAMStack等,并分析它们的优势与应用场景。通过实例演示,我们将看到如何根据项目需求选择合适的前端架构,以及如何利用这些架构模式提升开发效率和应用性能。
|
XML JSON API
⚡REST 和 SOAP 协议有什么区别?
这篇文章对比了 REST 和 SOAP 两种常见的 Web API 规范。REST 是一种 API 架构风格,遵循客户端-服务器、无状态和缓存等原则,使用 HTTP 协议和 JSON 格式,适合轻量级、高兼容性的场景。SOAP 是一种基于 XML 的网络服务访问协议,提供消息级安全性和 ACID 合规性,适用于企业级应用。REST 的优点包括前后端分离、浏览器兼容和带宽效率,而 SOAP 适用于需要高级安全特性的应用。除了 REST 和 SOAP,还有 gRPC 和 GraphQL 等其他选择。
|
Java UED
Java中的事件处理机制
Java中的事件处理机制
424 1
|
弹性计算 物联网 网络性能优化
MQTT常见问题之connection reset by peer 异常如何解决
MQTT(Message Queuing Telemetry Transport)是一个轻量级的、基于发布/订阅模式的消息协议,广泛用于物联网(IoT)中设备间的通信。以下是MQTT使用过程中可能遇到的一些常见问题及其答案的汇总:
|
自然语言处理 搜索推荐 算法
互联网关键词--解释
互联网广告--术语
449 0
|
监控 前端开发 JavaScript
nodejs循序渐进-高性能游戏服务器框架pomelo之启动流程和组件
nodejs循序渐进-高性能游戏服务器框架pomelo之启动流程和组件