数据迁移工具简单分析

简介:

exp/imp

对于数据结构的复制和同步,还是比较理想的工具。

在数据量比较小的情况下,这个工具的性能要远远好于datapump,而且重点推荐,他对于各种常用数据类型的支持还是很不错的。

有一些特性,在某种程度上要好于datapump,在做数据迁移的时候,commit特性还是很重要的。因为通过datapump碰到了很多undo空间不足带来的问题。

datapump

在10g版本开始,就开始推荐使用的datapump,算是对exp/imp的补充说明。在使用数据量中等的数据迁移中,是比较好的方案,它有几个亮点的特性,一个就是并行,能够在数据导出导入的时候开启多个并行加速,还有direct选项,这一点上合exp没有太大的差别,个人比较喜欢的是remap选项,比如某个表中还有lob字段,从源库中导出的时候,表空间的信息就在dump文件里,如果导入的环境没有指定的表空间,那基本上就没有直接的解决方案了,要么临时创建需要的表空间,然后在导入成功后,尝试做move操作。

这一点在datapump而言,就不是事了,remap选项很轻松的解决了这个问题。

当然了,datapump是基于服务端的,需要一些其他的依赖因素,在做lob的数据导入的时候速度比imp至少快10倍以上。

sql*loader

可以理解sqlldr是基于客户端的,而言这个工具可能更具有通用性,因为一些数据在它面前都是可扩展的,我们可以尝试从sqlserver中导出数据,然后通过sqlldr来做为数据的导入,sql*loader最快的方式就是开启并行+direct,但是对于lob数据的处理还是需要做额外的工作,对于数据结构的复制而言,就无能为力了。如果作为纯粹的数据的导入,还是很好的工具。

比较纳闷的是,sqlldr作为可扩展的数据导入工具,oracle为什么没有出类似sqlldr这样的数据导出工具,因为exp/expdp导出的是二进制文件,生成平面文件还是有一定的距离,在tom的网站答疑中,他提供了一个简单的pl/sql版本的工具,大家有兴趣可以参考。

oracle_loader

外部表在较新的版本中开始出现,可能大家用的比较多的还是通过oracle_loader来读取alert日志的信息,其实在某种程度上而言,oracle_loader可以在某种程度上作为sqlldr的补充和加强。因为我们可以和快的创建一个外部表。而无须消耗额外的数据空间,相比于sqlldr生成的dump而言,基于oracle_loader创建的外部表更加的具体,我们可以在数据导入前做一些相关的数据检查和稽核工作。

oracle_datapump

oracle_datapump算是对datapump的一个加强版本,因为生成的dump文件类似datapump,但是生成的dump可移植性就好的多,我们可以直接copy dump到外部表相关的目录下,如果外部表定义中的dump文件名没有变化的话,直接拷贝dump,然后可以无需做其他操作就加载数据。

insert

不管怎么样,insert还是最终的数据加载方式,不过在条件允许的情况下,noogging+append+parallel还是个人认为最简洁,最直接的方式。

本文转自ICT时空 dbasdk博客,原文链接:数据迁移工具简单分析 ,如需转载请自行联系原博主。

相关文章
|
7月前
|
SQL 分布式计算 监控
Sqoop数据迁移工具使用与优化技巧:面试经验与必备知识点解析
【4月更文挑战第9天】本文深入解析Sqoop的使用、优化及面试策略。内容涵盖Sqoop基础,包括安装配置、命令行操作、与Hadoop生态集成和连接器配置。讨论数据迁移优化技巧,如数据切分、压缩编码、转换过滤及性能监控。此外,还涉及面试中对Sqoop与其他ETL工具的对比、实际项目挑战及未来发展趋势的讨论。通过代码示例展示了从MySQL到HDFS的数据迁移。本文旨在帮助读者在面试中展现Sqoop技术实力。
519 2
|
7月前
|
关系型数据库 MySQL 数据库
rds迁移数据迁移工具选择
rds迁移数据迁移工具选择
269 3
|
存储 关系型数据库 MySQL
达梦(DM)数据迁移工具
讲述达梦数据库迁移工具使用
|
7月前
|
存储 监控 负载均衡
TiDB数据迁移工具TiCDC:高效同步的引擎
【2月更文挑战第28天】TiCDC是TiDB生态中一款强大的数据迁移工具,它专注于实现TiDB增量数据的实时同步。通过解析上游TiKV的数据变更日志,TiCDC能够将有序的行级变更数据输出到下游系统,确保数据的实时性和一致性。本文将深入探讨TiCDC的原理、架构、应用场景以及使用方式,帮助读者更好地理解和应用这一工具,实现高效的数据迁移和同步。
|
canal 数据采集 分布式计算
8 种主流数据迁移工具技术选型,yyds! 下
8 种主流数据迁移工具技术选型,yyds! 下
|
数据采集 JavaScript 关系型数据库
8 种主流数据迁移工具技术选型,yyds! 上
8 种主流数据迁移工具技术选型,yyds! 上
|
存储 资源调度 Cloud Native
阿里云数据迁移工具解决方案:腾讯云迁移到阿里云
阿里云数据迁移工具解决方案:腾讯云迁移到阿里云
阿里云数据迁移工具解决方案:腾讯云迁移到阿里云
|
SQL 存储 分布式计算
Sqoop进行Hadoop生态离线数据迁移工具
学习一个东西,个人认为最好的方式是:官网+源码+实践。 Sqoop官网:http://sqoop.apache.org
500 0
Sqoop进行Hadoop生态离线数据迁移工具
|
存储 资源调度 Cloud Native
阿里云数据迁移工具解决方案:华为云迁移到阿里云
阿里云数据迁移工具解决方案:华为云迁移到阿里云
阿里云数据迁移工具解决方案:华为云迁移到阿里云
|
弹性计算 分布式计算 NoSQL
开发者社区精选直播合集(三十四)| 数据迁移工具与实践
本文档围绕如何将您的数据迁移到阿里云,提供了多个场景的实践方案及工具
开发者社区精选直播合集(三十四)| 数据迁移工具与实践