AI 助理
备案控制台
开发者社区 数据库 文章 正文

Oracle MySQL相关工具replace操作实现方式区别

2020-06-28 941
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
云数据库 RDS PostgreSQL，高可用系列 2核4GB
RDS MySQL Serverless 高可用系列，价值2615元额度，1个月
简介： 本文列举MySQL、Oracle、常用数据导入工具碰到主键冲突、唯一约束、以及其他对重复数据、已有数据的处理区别，并介绍MySQL、Oracle replace相关语句实现区别。由此可见在实际使用不同数据库过程中，还是有许多差别，需要大家细心留意。

数据导入工具中的replace

1，oracle impdp 导入数据的表已存在指定TABLE_EXISTS_ACTION参数，如果目标库存在相同名称的表，执行下面的操作

1) skip：默认跳过这张表，继续下一个对象。如果CONTENT设置了DATA_ONLY参数，则默认值为append。
2) replace：先drop表，然后创建表，最后插入数据
3) append：在原来数据的基础上增加数据
4) truncate：先truncate，然后再插入数据

2，oracle sqlloader 加载数据模式，遇到有数据时

1) APPEND //原先的表有数据 就加在后面
2) INSERT // 装载空表 如果原先的表有数据 sqlloader会停止 默认值
3) REPLACE // 原先的表有数据 原先的数据会全部删除
4) TRUNCATE // 指定的内容和replace的相同 会用truncate语句删除现存数据

3，mysql load data 加载数据 对有唯一键记录重复时

1）如果指定replace，新行将代替有相同的唯一键值的现有行。具体逻辑同mysql数据库内replace into语句
2）如果指定ignore，跳过有唯一键的现有行的重复行的输入。
3）如果不指定任何一个选项，当找到重复键时，出现一个错误，并且文本文件的余下部分被忽略。

4，DataX工具

导入数据碰到主键或唯一键冲突：选择导入模式，可以支持 insert/replace/insert ignore 方式

insert 指当主键/唯一性索引冲突，数据集成视为脏数据进行处理。
replace 指没有遇到主键/唯一性索引冲突时，与 insert 行为一致，当主键/唯一性索引冲突时会用新行替换原有行所有字段。
insert ignore 指当主键/唯一性索引冲突，数据集成将直接忽略更新丢弃，并且不记录！

注意

MySQL writer支持replace into，参考MySQL数据库的replace into语句。

Oracle writer不支持replace into，支持insert into...(当主键/唯一性索引冲突时会写不进去冲突的行)，因为Oracle不支持replace、replace into语句。OracleWriter和MysqlWriter不同，不支持配置writeMode参数。原因可见文末

数据库中的replace

1，MySQL数据库中的replace、replace into语句

replace在没有碰到主键、唯一索引重复值时，和insert完全相同。因此replace仅当表具有PRIMARY KEY或 UNIQUE索引时才有意义。
如果表中的旧行与a PRIMARY KEY或UNIQUE 索引的新行具有相同的值， 则在插入新行之前删除该旧行。

要使用REPLACE，您必须同时拥有表的INSERT和 DELETE特权。

MySQL对REPLACE（和 LOAD DATA ... REPLACE）使用以下算法 ：

  1. 尝试将新行插入表中
  2. 虽然插入失败是因为主键或唯一索引发生重复键错误：
    • 从表中删除具有重复键值的冲突行
    • 再试一次将新行插入表中
mysql> select * from replace1;
+----+-------+
| id | name  |
+----+-------+
|  1 | aaa   |
|  2 | wang1 |
|  3 | ccc   |
+----+-------+
3 rows in set (0.00 sec)

mysql> replace into replace1 values (3,'ccc');
Query OK, 1 row affected (0.02 sec)

mysql> replace into replace1 values (3,'ccc');
Query OK, 1 row affected (0.01 sec)

mysql> replace into replace1 values (3,'ddd');
Query OK, 2 rows affected (0.00 sec)

mysql> replace into replace1 values (3,'ddd');
Query OK, 2 rows affected (0.00 sec)

mysql> replace replace1 values (3,'ddd');
Query OK, 1 row affected (0.00 sec)

mysql> replace replace1 values (3,'ccc');
Query OK, 2 rows affected (0.01 sec)

从执行结果来看，replace和replace into 具有相同的作用。

也可以使用MySQL help命令查看帮助：

mysql> help replace;

2，MySQL数据库的INSERT ... ON DUPLICATE KEY UPDATE语句

insert into UNE_CBILL_PRINT_CLOUD(fid,feinvoicecode,ftype)VALUES('1','1','1')
        ON DUPLICATE KEY UPDATE foperator = '1',ftype = '3';

replace into 效率比较低，因为在更新数据的时候，要先删除旧的，然后插入新的，在这个过程中，还要重新维护索引；

insert on duplicate 的更新操作虽然也会更新数据，但其对主键的索引却不会有改变，也就是说，insert　on duplicate　更新对主键索引没有影响，因此对索引的维护成本就低了一些。

相关测试：

mysql> 
mysql> create table replace1(id int primary key,name varchar(8));
Query OK, 0 rows affected (0.21 sec)

mysql> 
mysql> 
mysql> 
mysql> create unique index unique_name on replace1(name);
Query OK, 0 rows affected (0.37 sec)
Records: 0  Duplicates: 0  Warnings: 0

mysql> 
mysql> 
mysql> 
mysql> insert into replace1 values(1,'aaa');
Query OK, 1 row affected (0.00 sec)

mysql> 
mysql> 
mysql> 
mysql> replace into replace1 values(2,'bbb');
Query OK, 1 row affected (0.01 sec)

mysql> 
mysql> 
mysql> 
mysql> replace into replace1 values(3,'ccc');
Query OK, 1 row affected (0.00 sec)

mysql> 
mysql> 
mysql> replace into replace1 values(3,'ccc');
Query OK, 2 rows affected (0.01 sec)

mysql> replace into replace1 values(3,'ccc');
Query OK, 2 rows affected (0.00 sec)

mysql> 
mysql> select * from replace1;
+----+------+
| id | name |
+----+------+
|  1 | aaa  |
|  2 | bbb  |
|  3 | ccc  |
+----+------+
3 rows in set (0.00 sec)

mysql> 
mysql> 
mysql> replace into replace1 values(4,'ccc');
Query OK, 2 rows affected (0.01 sec)

mysql> 
mysql> 
mysql> 
mysql> select * from replace1;
+----+------+
| id | name |
+----+------+
|  1 | aaa  |
|  2 | bbb  |
|  4 | ccc  |
+----+------+
3 rows in set (0.00 sec)

mysql> 
mysql> replace into replace1 values(3,'ccc');
Query OK, 2 rows affected (0.01 sec)

mysql> 
mysql> 
mysql> select * from replace1;
+----+------+
| id | name |
+----+------+
|  1 | aaa  |
|  2 | bbb  |
|  3 | ccc  |
+----+------+
3 rows in set (0.00 sec)

mysql> 
mysql> desc replace1;
+-------+------------+------+-----+---------+-------+
| Field | Type       | Null | Key | Default | Extra |
+-------+------------+------+-----+---------+-------+
| id    | int(11)    | NO   | PRI | NULL    |       |
| name  | varchar(8) | YES  | UNI | NULL    |       |
+-------+------------+------+-----+---------+-------+
2 rows in set (0.00 sec)

mysql> 
mysql> 
mysql> 
mysql> replace into replace1 values(4,'ddd');
Query OK, 1 row affected (0.00 sec)

mysql> 
mysql> 
mysql> select * from replace1;
+----+------+
| id | name |
+----+------+
|  1 | aaa  |
|  2 | bbb  |
|  3 | ccc  |
|  4 | ddd  |
+----+------+
4 rows in set (0.00 sec)

mysql> 
mysql> replace into replace1 values(4,'ccc');
Query OK, 3 rows affected (0.01 sec)

mysql> 
mysql> 
mysql> select * from replace1;
+----+------+
| id | name |
+----+------+
|  1 | aaa  |
|  2 | bbb  |
|  4 | ccc  |
+----+------+
3 rows in set (0.00 sec)

mysql> 
mysql> 
mysql> 
mysql> 
mysql> replace into replace1 values(3,'ccc');
Query OK, 2 rows affected (0.00 sec)

mysql> 
mysql> 
mysql> 
mysql> select * from replace1;
+----+------+
| id | name |
+----+------+
|  1 | aaa  |
|  2 | bbb  |
|  3 | ccc  |
+----+------+
3 rows in set (0.01 sec)

mysql> 
mysql> 
mysql> 
mysql> replace into replace1 values(3,'ccc');
Query OK, 2 rows affected (0.01 sec)

mysql> 
mysql> 
mysql> 
mysql> drop index unique_name;
ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '' at line 1
mysql> 
mysql> 
mysql> 
mysql> help drop index 
Name: 'DROP INDEX'
Description:
Syntax:
DROP INDEX index_name ON tbl_name
    [algorithm_option | lock_option] ...

algorithm_option:
    ALGORITHM [=] {DEFAULT|INPLACE|COPY}

lock_option:
    LOCK [=] {DEFAULT|NONE|SHARED|EXCLUSIVE}

DROP INDEX drops the index named index_name from the table tbl_name.
This statement is mapped to an ALTER TABLE statement to drop the index.
See [HELP ALTER TABLE].

To drop a primary key, the index name is always PRIMARY, which must be
specified as a quoted identifier because PRIMARY is a reserved word:

DROP INDEX `PRIMARY` ON t;

URL: http://dev.mysql.com/doc/refman/8.0/en/drop-index.html


mysql> 
mysql> 
mysql> 
mysql> drop index unique_name on replace1;
Query OK, 0 rows affected (0.03 sec)
Records: 0  Duplicates: 0  Warnings: 0

mysql> 
mysql> 
mysql> 
mysql> replace into replace1 values(3,'ccc');
Query OK, 1 row affected (0.01 sec)

mysql> 
mysql> 
mysql> replace into replace1 values(3,'ccc');
Query OK, 1 row affected (0.01 sec)

mysql> 
mysql> 
mysql> insert into replace1 values(4,'ddd');
Query OK, 1 row affected (0.01 sec)

mysql> create unique index unique_name on replace1(name);
Query OK, 0 rows affected (0.02 sec)
Records: 0  Duplicates: 0  Warnings: 0

mysql> insert into replace1 values(5,'eee');
Query OK, 1 row affected (0.01 sec)

mysql> 
mysql> desc replace1;
+-------+------------+------+-----+---------+-------+
| Field | Type       | Null | Key | Default | Extra |
+-------+------------+------+-----+---------+-------+
| id    | int(11)    | NO   | PRI | NULL    |       |
| name  | varchar(8) | YES  | UNI | NULL    |       |
+-------+------------+------+-----+---------+-------+
2 rows in set (0.00 sec)

mysql> 
mysql> 
mysql> update replace1 set name='ccc' where id=3;
Query OK, 0 rows affected (0.00 sec)
Rows matched: 1  Changed: 0  Warnings: 0

mysql> update replace1 set name='ccc' where id=3;
Query OK, 0 rows affected (0.00 sec)
Rows matched: 1  Changed: 0  Warnings: 0

mysql> 
mysql> 
mysql> update replace1 set name='ddd' where id=3;
ERROR 1062 (23000): Duplicate entry 'ddd' for key 'unique_name'
mysql> 
mysql> 
mysql> update replace1 set name='www' where id=3;
Query OK, 1 row affected (0.03 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> 
mysql> 
mysql> update replace1 set name='ccc' where id=3;
Query OK, 1 row affected (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> 
mysql> update replace1 set name='ccc' where id=3;
Query OK, 0 rows affected (0.00 sec)
Rows matched: 1  Changed: 0  Warnings: 0

mysql> 
mysql> update replace1 set name='ccc' where id=3;
Query OK, 0 rows affected (0.00 sec)
Rows matched: 1  Changed: 0  Warnings: 0

注意：

1，在有多个唯一索引的时候执行replace操作会出现一些奇怪的现象，如除主键外，还有个唯一索引。replace操作影响了2行，所以先删掉冲突的2行，并进行插入一行，返回提示影响了3行数据，replace一条数据，表的总行数少了一条。

2，除主键外有其他唯一索引时，replace语句values如果完全相同时，影响行数为2，是先delete再insert，当仅有主键没有其他唯一索引时，影响行数是1，但实际没有做delete操作（类似于update完全相同值的场景），上述推测根据binlog分析的，再深入可能得根据MySQL源码分析。

由此得出以下2个结论：

当有多个唯一索引时会多删除数据，慎用replace，同时也尽量避免这种情形，满足数据库设计的第二范式。
只有一个主键or唯一索引的情况，可以使用insert on duplicate 操作，比replace操作性能好一些，减少对索引维护带来的性能开销。

3，Oracle数据库中对应的实现是merge into语句

MERGE INTO --要插入的表 别名
USING (

  --查询的SQL
  )别名 ON 
     --(连接条件)

WHEN MATCHED THEN --如果符合条件

 UPDATE SET

WHEN NOT MATCHED THEN

 INSERT ()VALUES();--不符合就插

/*语法：
MERGE [INTO [schema .] table [t_alias]
USING [schema .] { table | view | subquery } [t_alias]
ON ( condition )
WHEN MATCHED THEN merge_update_clause
WHEN NOT MATCHED THEN merge_insert_clause;
*/

Oracle数据库没有和MySQL一样的replace into语句，
但是有merge into 语句，可以同时实现update和insert的功能。
update子句后面可以跟delete子句来去掉一些不需要的行
delete只能和update配合，从而达到删除满足where条件的子句的记录

Oracle 的 merge into 语句的insert、update、delete互相配合能达到跟MySQL replace语句一样的效果。
由于没有根据唯一约束重复值进行操作的replace，因此datax oracle writer不支持配置writeMode参数。

文章标签：
云数据库 RDS MySQL 版
SQL
关系型数据库
索引
DataX
MySQL
Oracle
算法
数据库
关键词：
云数据库 RDS MySQL 版工具
oracle云数据库 RDS MySQL 版
Oracle数据库一键上云MySQL
云数据库 RDS MySQL 版区别
云数据库 RDS MySQL 版oracle
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发，帮助IT从业者们通过“阿里云Web应用上云解决方案”，了解一个企业级Web应用上云的常见架构，了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品：云数据库RDS MySQL 版 阿里云关系型数据库RDS（Relational Database Service）是一种稳定可靠、可弹性伸缩的在线数据库服务，提供容灾、备份、恢复、迁移等方面的全套解决方案，彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
虽然
目录
相关文章
金桔数科
|
5月前
|
Oracle 关系型数据库 MySQL
Oracle linux 8 二进制安装 MySQL 8.4企业版
Oracle linux 8 二进制安装 MySQL 8.4企业版
金桔数科
166 1
互联网课堂
|
7月前
|
SQL Oracle 关系型数据库
MySQL 和 Oracle 的区别？
本文对比了Oracle和MySQL数据库的多个方面。Oracle适用于大型数据库，支持高并发和大访问量，市场占有率为40%，安装占用空间较大，约3G；而MySQL适合中小型应用，是开源免费的，安装仅需152M。两者在主键生成、字符串处理、SQL语句、事务处理等方面存在差异。Oracle功能更为强大，尤其在企业级应用中表现突出，而MySQL则以简单易用见长。
互联网课堂
899 7
MySQL 和 Oracle 的区别？
游客kufrkwrbkmpsa
|
6月前
|
Oracle 关系型数据库 MySQL
使用崖山YMP 迁移 Oracle/MySQL 至YashanDB 23.2 验证测试
这篇文章是作者尚雷关于使用崖山YMP迁移Oracle/MySQL至YashanDB 23.2的验证测试分享。介绍了YMP的产品信息，包括架构、版本支持等，还详细阐述了外置库部署、YMP部署、访问YMP、数据源管理、任务管理（创建任务、迁移配置、离线迁移、校验初始化、一致性校验）及MySQL迁移的全过程。
游客kufrkwrbkmpsa
139 2
蓝易云
|
8月前
|
监控 Oracle 关系型数据库
Mysql、Oracle审计日志的开启
通过上述步骤，可以在 MySQL 和 Oracle 数据库中启用和配置审计日志。这些日志对于监控数据库操作、提高安全性和满足合规性要求非常重要。确保正确配置审计参数和策略，定期查看和分析审计日志，有助于及时发现并处理潜在的安全问题。
蓝易云
470 11
技术小美
|
SQL Oracle 关系型数据库
Oracle 补丁体系 及 opatch 工具 介绍
技术小美
859 0
长烟慢慢
|
SQL Oracle 关系型数据库
Oracle 补丁体系(PSR/PSU/CPU) 及 opatch 工具 介绍
原文：http://blog.csdn.net/tianlesoftware/article/details/5809526 一． CPU（Critical Patch Update）     一个CPU内包含了对多个安全漏洞的修复，并且也包括相应必需的非安全漏洞的补丁。
长烟慢慢
1571 0
赵渝强老师
|
8天前
|
Oracle 关系型数据库 Linux
【赵渝强老师】Oracle数据库配置助手：DBCA
Oracle数据库配置助手（DBCA）是用于创建和配置Oracle数据库的工具，支持图形界面和静默执行模式。本文介绍了使用DBCA在Linux环境下创建数据库的完整步骤，包括选择数据库操作类型、配置存储与网络选项、设置管理密码等，并提供了界面截图与视频讲解，帮助用户快速掌握数据库创建流程。
赵渝强老师
174 93
1436047922066202
|
2月前
|
存储 Oracle 关系型数据库
服务器数据恢复—光纤存储上oracle数据库数据恢复案例
一台光纤服务器存储上有16块FC硬盘，上层部署了Oracle数据库。服务器存储前面板2个硬盘指示灯显示异常，存储映射到linux操作系统上的卷挂载不上，业务中断。 通过storage manager查看存储状态，发现逻辑卷状态失败。再查看物理磁盘状态，发现其中一块盘报告“警告”，硬盘指示灯显示异常的2块盘报告“失败”。 将当前存储的完整日志状态备份下来，解析备份出来的存储日志并获得了关于逻辑卷结构的部分信息。
1436047922066202
69 4
蓝易云
|
20天前
|
SQL Oracle 关系型数据库
Oracle数据库创建表空间和索引的SQL语法示例
以上SQL语法提供了一种标准方式去组织Oracle数据库内部结构，并且通过合理使用可以显著改善查询速度及整体性能。需要注意，在实际应用过程当中应该根据具体业务需求、系统资源状况以及预期目标去合理规划并调整参数设置以达到最佳效果。
蓝易云
77 8
蓝易云
|
2月前
|
SQL Oracle 关系型数据库
比较MySQL和Oracle数据库系统，特别是在进行分页查询的方法上的不同
两者的性能差异将取决于数据量大小、索引优化、查询设计以及具体版本的数据库服务器。考虑硬件资源、数据库设计和具体需求对于实现优化的分页查询至关重要。开发者和数据库管理员需要根据自身使用的具体数据库系统版本和环境，选择最合适的分页机制，并进行必要的性能调优来满足应用需求。
蓝易云
115 11

热门文章

最新文章

  • 1
    【赵渝强老师】Oracle数据库配置助手：DBCA
  • 2
    Oracle数据库创建表空间和索引的SQL语法示例
  • 3
    从下载到运行：MySQL 详细安装配置完整教程
  • 4
    解决MySQL的sql_mode=only_full_group_by错误提示
  • 5
    MySQL数据库连接过多（Too many connections）错误处理策略
  • 6
    使用命令行cmd查询MySQL表结构信息技巧分享。
  • 7
    查寻MySQL或SQL Server的连接数，并配置超时时间和最大连接量
  • 8
    修复.net Framework4.x连接MYSQL时遇到utf8mb3字符集不支持错误方案。
  • 9
    安装与配置MySQL 8 on Ubuntu，包括权限授予、数据库备份及远程连接指南
  • 10
    深入理解MySQL索引类型及其应用场景分析。
  • 1
    在 MySQL 中使用 Distinct
    1415
  • 2
    在 MySQL 中使用 IS NULL
    913
  • 3
    MySQL——增量备份和全量备份
    123
  • 4
    Mysql80 密码忘记了怎么办
    175
  • 5
    MySQL——如何查看MySQL登录日志
    860
  • 6
    MySQL——删除重复数据
    101
  • 7
    Go语言中进行MySQL预处理和SQL注入防护
    329
  • 8
    MySQL——查看当前数据库中所有库中表的行数
    77
  • 9
    MySQL——大量的deleted进程导致磁盘100%
    86
  • 10
    MySQL——查看数据库大小
    132

    • 相关课程

    更多
  • 云数据库MySQL版快速上手教程
  • 阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
  • MySQL实战进阶
  • 阿里云数据库产品家族及特性
  • 数据库及SQL/MySQL基础
  • 云数据库MySQL快速入门

    • 相关电子书

    更多
  • PostgresChina2018_樊文凯_ORACLE数据库和应用异构迁移最佳实践
  • PostgresChina2018_王帅_从Oracle到PostgreSQL的数据迁移
  • Oracle云上最佳实践

    • 推荐镜像

    更多
  • mysql
  • oracle
    • 下一篇
    2025云栖大会，阿里云百炼邀请您的参与和见证