备案控制台
开发者社区 数据库 文章 正文

Oracle MySQL相关工具replace操作实现方式区别

2020-06-28 738
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云数据库 RDS MySQL Serverless，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
云数据库 RDS MySQL Serverless，价值2615元额度，1个月
简介： 本文列举MySQL、Oracle、常用数据导入工具碰到主键冲突、唯一约束、以及其他对重复数据、已有数据的处理区别，并介绍MySQL、Oracle replace相关语句实现区别。由此可见在实际使用不同数据库过程中，还是有许多差别，需要大家细心留意。

数据导入工具中的replace

1，oracle impdp 导入数据的表已存在指定TABLE_EXISTS_ACTION参数，如果目标库存在相同名称的表，执行下面的操作

1) skip：默认跳过这张表，继续下一个对象。如果CONTENT设置了DATA_ONLY参数，则默认值为append。
2) replace：先drop表，然后创建表，最后插入数据
3) append：在原来数据的基础上增加数据
4) truncate：先truncate，然后再插入数据

2，oracle sqlloader 加载数据模式，遇到有数据时

1) APPEND //原先的表有数据 就加在后面
2) INSERT // 装载空表 如果原先的表有数据 sqlloader会停止 默认值
3) REPLACE // 原先的表有数据 原先的数据会全部删除
4) TRUNCATE // 指定的内容和replace的相同 会用truncate语句删除现存数据

3，mysql load data 加载数据 对有唯一键记录重复时

1）如果指定replace，新行将代替有相同的唯一键值的现有行。具体逻辑同mysql数据库内replace into语句
2）如果指定ignore，跳过有唯一键的现有行的重复行的输入。
3）如果不指定任何一个选项，当找到重复键时，出现一个错误，并且文本文件的余下部分被忽略。

4，DataX工具

导入数据碰到主键或唯一键冲突：选择导入模式，可以支持 insert/replace/insert ignore 方式

insert 指当主键/唯一性索引冲突，数据集成视为脏数据进行处理。
replace 指没有遇到主键/唯一性索引冲突时，与 insert 行为一致，当主键/唯一性索引冲突时会用新行替换原有行所有字段。
insert ignore 指当主键/唯一性索引冲突，数据集成将直接忽略更新丢弃，并且不记录！

注意

MySQL writer支持replace into，参考MySQL数据库的replace into语句。

Oracle writer不支持replace into，支持insert into...(当主键/唯一性索引冲突时会写不进去冲突的行)，因为Oracle不支持replace、replace into语句。OracleWriter和MysqlWriter不同，不支持配置writeMode参数。原因可见文末

数据库中的replace

1，MySQL数据库中的replace、replace into语句

replace在没有碰到主键、唯一索引重复值时，和insert完全相同。因此replace仅当表具有PRIMARY KEY或 UNIQUE索引时才有意义。
如果表中的旧行与a PRIMARY KEY或UNIQUE 索引的新行具有相同的值， 则在插入新行之前删除该旧行。

要使用REPLACE，您必须同时拥有表的INSERT和 DELETE特权。

MySQL对REPLACE（和 LOAD DATA ... REPLACE）使用以下算法 ：

  1. 尝试将新行插入表中
  2. 虽然插入失败是因为主键或唯一索引发生重复键错误：
    • 从表中删除具有重复键值的冲突行
    • 再试一次将新行插入表中
mysql> select * from replace1;
+----+-------+
| id | name  |
+----+-------+
|  1 | aaa   |
|  2 | wang1 |
|  3 | ccc   |
+----+-------+
3 rows in set (0.00 sec)

mysql> replace into replace1 values (3,'ccc');
Query OK, 1 row affected (0.02 sec)

mysql> replace into replace1 values (3,'ccc');
Query OK, 1 row affected (0.01 sec)

mysql> replace into replace1 values (3,'ddd');
Query OK, 2 rows affected (0.00 sec)

mysql> replace into replace1 values (3,'ddd');
Query OK, 2 rows affected (0.00 sec)

mysql> replace replace1 values (3,'ddd');
Query OK, 1 row affected (0.00 sec)

mysql> replace replace1 values (3,'ccc');
Query OK, 2 rows affected (0.01 sec)

从执行结果来看，replace和replace into 具有相同的作用。

也可以使用MySQL help命令查看帮助：

mysql> help replace;

2，MySQL数据库的INSERT ... ON DUPLICATE KEY UPDATE语句

insert into UNE_CBILL_PRINT_CLOUD(fid,feinvoicecode,ftype)VALUES('1','1','1')
        ON DUPLICATE KEY UPDATE foperator = '1',ftype = '3';

replace into 效率比较低，因为在更新数据的时候，要先删除旧的，然后插入新的，在这个过程中，还要重新维护索引；

insert on duplicate 的更新操作虽然也会更新数据，但其对主键的索引却不会有改变，也就是说，insert　on duplicate　更新对主键索引没有影响，因此对索引的维护成本就低了一些。

相关测试：

mysql> 
mysql> create table replace1(id int primary key,name varchar(8));
Query OK, 0 rows affected (0.21 sec)

mysql> 
mysql> 
mysql> 
mysql> create unique index unique_name on replace1(name);
Query OK, 0 rows affected (0.37 sec)
Records: 0  Duplicates: 0  Warnings: 0

mysql> 
mysql> 
mysql> 
mysql> insert into replace1 values(1,'aaa');
Query OK, 1 row affected (0.00 sec)

mysql> 
mysql> 
mysql> 
mysql> replace into replace1 values(2,'bbb');
Query OK, 1 row affected (0.01 sec)

mysql> 
mysql> 
mysql> 
mysql> replace into replace1 values(3,'ccc');
Query OK, 1 row affected (0.00 sec)

mysql> 
mysql> 
mysql> replace into replace1 values(3,'ccc');
Query OK, 2 rows affected (0.01 sec)

mysql> replace into replace1 values(3,'ccc');
Query OK, 2 rows affected (0.00 sec)

mysql> 
mysql> select * from replace1;
+----+------+
| id | name |
+----+------+
|  1 | aaa  |
|  2 | bbb  |
|  3 | ccc  |
+----+------+
3 rows in set (0.00 sec)

mysql> 
mysql> 
mysql> replace into replace1 values(4,'ccc');
Query OK, 2 rows affected (0.01 sec)

mysql> 
mysql> 
mysql> 
mysql> select * from replace1;
+----+------+
| id | name |
+----+------+
|  1 | aaa  |
|  2 | bbb  |
|  4 | ccc  |
+----+------+
3 rows in set (0.00 sec)

mysql> 
mysql> replace into replace1 values(3,'ccc');
Query OK, 2 rows affected (0.01 sec)

mysql> 
mysql> 
mysql> select * from replace1;
+----+------+
| id | name |
+----+------+
|  1 | aaa  |
|  2 | bbb  |
|  3 | ccc  |
+----+------+
3 rows in set (0.00 sec)

mysql> 
mysql> desc replace1;
+-------+------------+------+-----+---------+-------+
| Field | Type       | Null | Key | Default | Extra |
+-------+------------+------+-----+---------+-------+
| id    | int(11)    | NO   | PRI | NULL    |       |
| name  | varchar(8) | YES  | UNI | NULL    |       |
+-------+------------+------+-----+---------+-------+
2 rows in set (0.00 sec)

mysql> 
mysql> 
mysql> 
mysql> replace into replace1 values(4,'ddd');
Query OK, 1 row affected (0.00 sec)

mysql> 
mysql> 
mysql> select * from replace1;
+----+------+
| id | name |
+----+------+
|  1 | aaa  |
|  2 | bbb  |
|  3 | ccc  |
|  4 | ddd  |
+----+------+
4 rows in set (0.00 sec)

mysql> 
mysql> replace into replace1 values(4,'ccc');
Query OK, 3 rows affected (0.01 sec)

mysql> 
mysql> 
mysql> select * from replace1;
+----+------+
| id | name |
+----+------+
|  1 | aaa  |
|  2 | bbb  |
|  4 | ccc  |
+----+------+
3 rows in set (0.00 sec)

mysql> 
mysql> 
mysql> 
mysql> 
mysql> replace into replace1 values(3,'ccc');
Query OK, 2 rows affected (0.00 sec)

mysql> 
mysql> 
mysql> 
mysql> select * from replace1;
+----+------+
| id | name |
+----+------+
|  1 | aaa  |
|  2 | bbb  |
|  3 | ccc  |
+----+------+
3 rows in set (0.01 sec)

mysql> 
mysql> 
mysql> 
mysql> replace into replace1 values(3,'ccc');
Query OK, 2 rows affected (0.01 sec)

mysql> 
mysql> 
mysql> 
mysql> drop index unique_name;
ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '' at line 1
mysql> 
mysql> 
mysql> 
mysql> help drop index 
Name: 'DROP INDEX'
Description:
Syntax:
DROP INDEX index_name ON tbl_name
    [algorithm_option | lock_option] ...

algorithm_option:
    ALGORITHM [=] {DEFAULT|INPLACE|COPY}

lock_option:
    LOCK [=] {DEFAULT|NONE|SHARED|EXCLUSIVE}

DROP INDEX drops the index named index_name from the table tbl_name.
This statement is mapped to an ALTER TABLE statement to drop the index.
See [HELP ALTER TABLE].

To drop a primary key, the index name is always PRIMARY, which must be
specified as a quoted identifier because PRIMARY is a reserved word:

DROP INDEX `PRIMARY` ON t;

URL: http://dev.mysql.com/doc/refman/8.0/en/drop-index.html


mysql> 
mysql> 
mysql> 
mysql> drop index unique_name on replace1;
Query OK, 0 rows affected (0.03 sec)
Records: 0  Duplicates: 0  Warnings: 0

mysql> 
mysql> 
mysql> 
mysql> replace into replace1 values(3,'ccc');
Query OK, 1 row affected (0.01 sec)

mysql> 
mysql> 
mysql> replace into replace1 values(3,'ccc');
Query OK, 1 row affected (0.01 sec)

mysql> 
mysql> 
mysql> insert into replace1 values(4,'ddd');
Query OK, 1 row affected (0.01 sec)

mysql> create unique index unique_name on replace1(name);
Query OK, 0 rows affected (0.02 sec)
Records: 0  Duplicates: 0  Warnings: 0

mysql> insert into replace1 values(5,'eee');
Query OK, 1 row affected (0.01 sec)

mysql> 
mysql> desc replace1;
+-------+------------+------+-----+---------+-------+
| Field | Type       | Null | Key | Default | Extra |
+-------+------------+------+-----+---------+-------+
| id    | int(11)    | NO   | PRI | NULL    |       |
| name  | varchar(8) | YES  | UNI | NULL    |       |
+-------+------------+------+-----+---------+-------+
2 rows in set (0.00 sec)

mysql> 
mysql> 
mysql> update replace1 set name='ccc' where id=3;
Query OK, 0 rows affected (0.00 sec)
Rows matched: 1  Changed: 0  Warnings: 0

mysql> update replace1 set name='ccc' where id=3;
Query OK, 0 rows affected (0.00 sec)
Rows matched: 1  Changed: 0  Warnings: 0

mysql> 
mysql> 
mysql> update replace1 set name='ddd' where id=3;
ERROR 1062 (23000): Duplicate entry 'ddd' for key 'unique_name'
mysql> 
mysql> 
mysql> update replace1 set name='www' where id=3;
Query OK, 1 row affected (0.03 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> 
mysql> 
mysql> update replace1 set name='ccc' where id=3;
Query OK, 1 row affected (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> 
mysql> update replace1 set name='ccc' where id=3;
Query OK, 0 rows affected (0.00 sec)
Rows matched: 1  Changed: 0  Warnings: 0

mysql> 
mysql> update replace1 set name='ccc' where id=3;
Query OK, 0 rows affected (0.00 sec)
Rows matched: 1  Changed: 0  Warnings: 0

注意：

1，在有多个唯一索引的时候执行replace操作会出现一些奇怪的现象，如除主键外，还有个唯一索引。replace操作影响了2行，所以先删掉冲突的2行，并进行插入一行，返回提示影响了3行数据，replace一条数据，表的总行数少了一条。

2，除主键外有其他唯一索引时，replace语句values如果完全相同时，影响行数为2，是先delete再insert，当仅有主键没有其他唯一索引时，影响行数是1，但实际没有做delete操作（类似于update完全相同值的场景），上述推测根据binlog分析的，再深入可能得根据MySQL源码分析。

由此得出以下2个结论：

当有多个唯一索引时会多删除数据，慎用replace，同时也尽量避免这种情形，满足数据库设计的第二范式。
只有一个主键or唯一索引的情况，可以使用insert on duplicate 操作，比replace操作性能好一些，减少对索引维护带来的性能开销。

3，Oracle数据库中对应的实现是merge into语句

MERGE INTO --要插入的表 别名
USING (

  --查询的SQL
  )别名 ON 
     --(连接条件)

WHEN MATCHED THEN --如果符合条件

 UPDATE SET

WHEN NOT MATCHED THEN

 INSERT ()VALUES();--不符合就插

/*语法：
MERGE [INTO [schema .] table [t_alias]
USING [schema .] { table | view | subquery } [t_alias]
ON ( condition )
WHEN MATCHED THEN merge_update_clause
WHEN NOT MATCHED THEN merge_insert_clause;
*/

Oracle数据库没有和MySQL一样的replace into语句，
但是有merge into 语句，可以同时实现update和insert的功能。
update子句后面可以跟delete子句来去掉一些不需要的行
delete只能和update配合，从而达到删除满足where条件的子句的记录

Oracle 的 merge into 语句的insert、update、delete互相配合能达到跟MySQL replace语句一样的效果。
由于没有根据唯一约束重复值进行操作的replace，因此datax oracle writer不支持配置writeMode参数。

文章标签：
云数据库 RDS MySQL 版
SQL
关系型数据库
索引
DataX
MySQL
Oracle
算法
数据库
关键词：
云数据库 RDS MySQL 版操作
Oracle数据库一键上云操作
云数据库 RDS MySQL 版oracle
oracle云数据库 RDS MySQL 版
Oracle数据库一键上云MySQL
相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境，其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程，来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品：云服务器ECS 云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
虽然
目录
相关文章
xin在这
|
11天前
|
DataWorks Oracle 关系型数据库
DataWorks操作报错合集之尝试从Oracle数据库同步数据到TDSQL的PG版本，并遇到了与RAW字段相关的语法错误，该怎么处理
DataWorks是阿里云提供的一站式大数据开发与治理平台，支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中，可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
xin在这
30 0
1529723250799936
|
1天前
|
Oracle 关系型数据库 Java
java操作多数据源将oracle数据同步达梦数据库
java操作多数据源将oracle数据同步达梦数据库
1529723250799936
8 1
源码星辰
|
2天前
|
存储 Oracle 关系型数据库
oracle 数据库 迁移 mysql数据库
将 Oracle 数据库迁移到 MySQL 是一项复杂的任务，因为这两种数据库管理系统具有不同的架构、语法和功能。
源码星辰
15 0
神秘泣男子
|
5天前
|
存储 安全 关系型数据库
MySQL中使用percona-xtrabackup工具 三种备份及恢复 （超详细教程）
MySQL中使用percona-xtrabackup工具 三种备份及恢复 （超详细教程）
神秘泣男子
22 1
你的小笔记本YY
|
10天前
|
SQL 关系型数据库 MySQL
【MySQL-3】图形化界面工具DataGrip安装＆配置＆使用
【MySQL-3】图形化界面工具DataGrip安装＆配置＆使用
你的小笔记本YY
19 0
一百减一是零
|
23天前
|
SQL Oracle 关系型数据库
常用数据库的分页语句(mySQL、oracle、PostgreSQL、SQL Server)
常用数据库的分页语句(mySQL、oracle、PostgreSQL、SQL Server)
一百减一是零
10 0
一百减一是零
|
23天前
|
Oracle 关系型数据库 MySQL
数据库中对时间的操作(mySql、Oracle、pgSql)
数据库中对时间的操作(mySql、Oracle、pgSql)
一百减一是零
21 0
游客m4wqdjvf6tmuy
|
1月前
|
分布式计算 关系型数据库 MySQL
oceanbase-oracle/mysql 如何导入数据
oceanbase-oracle/mysql 如何导入数据
游客m4wqdjvf6tmuy
65 1
宁波阿成.
|
1天前
|
关系型数据库 MySQL 数据库
docker MySQL删除数据库时的错误（errno: 39）
docker MySQL删除数据库时的错误（errno: 39）
宁波阿成.
9 0
宁波阿成.
|
1天前
|
关系型数据库 MySQL 数据库连接
用Navicat备份Mysql演示系统数据库的时候出：Too Many Connections
用Navicat备份Mysql演示系统数据库的时候出：Too Many Connections
宁波阿成.
8 0

热门文章

最新文章

  • 1
    【Oracle】玩转Oracle数据库（一）：装上去，飞起来！
  • 2
    【Oracle】玩转Oracle数据库（七）：RMAN恢复管理器
  • 3
    【Oracle】玩转Oracle数据库（二）：体系结构、存储结构与各类参数
  • 4
    Oracle的PL/SQL游标属性：数据的“导航仪”与“仪表盘”
  • 5
    Oracle的三重奏：密码文件、警告文件与跟踪文件
  • 6
    Oracle的PL/SQL定义变量和常量：数据的稳定与灵动
  • 7
    Oracle日志文件：数据王国的“记事本”
  • 8
    Oracle 12c的自动数据优化（ADO）与热图：数据管理的“瘦身”与“透视”艺术
  • 9
    MySQL全局库表查询准确定位字段
  • 10
    oracle 访问控制
  • 1
    [MySQL]SQL优化之索引的使用规则
    42
  • 2
    【mysql】—— 用户管理
    36
  • 3
    【mysql】—— 视图
    35
  • 4
    【mysql】—— 表的增删改查
    42
  • 5
    【mysql】—— 表的约束
    39
  • 6
    【MYSQL】—— MySQL 在 Centos 7环境安装
    70
  • 7
    MySQL模糊查询二三事
    28
  • 8
    MySQL的JOIN到底是怎么玩的
    109
  • 9
    MySQL怎样删除重复数据，只保留一条？
    40
  • 10
    【怒怼大厂面试官】你先说说知道哪些MySQL的高级特性
    54

    • 相关课程

    更多
  • MySQL企业常见架构与调优经验分享
  • 云数据库MySQL版快速上手教程
  • 阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
  • MySQL实战进阶
  • 数据库及SQL/MySQL基础
  • 云数据库MySQL快速入门

    • 相关电子书

    更多
  • PostgresChina2018_樊文凯_ORACLE数据库和应用异构迁移最佳实践
  • PostgresChina2018_王帅_从Oracle到PostgreSQL的数据迁移
  • Oracle云上最佳实践

    • 相关实验场景

    更多
  • 极致弹性的PolarDB Serverless确保数据业务持续在线
  • 云端MySQL的安装及应用
  • 体验PolarDB MySQL多主集群
  • 基于ECS+RDS的在线留言系统
  • 如何通过RDS MySQL数据库内网访问
  • RDS MySQL Serverless资源与负载自适应

    • 推荐镜像

    更多
  • mysql
  • oracle
  • postgresql
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）