【原创】利用MySQL触发器高性能造数据

本文涉及的产品
RDS AI 助手,专业版
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
简介:

MySQL 触发器功能比较简单,大部分只用来简单的更新第三方表,今天我来演示下MySQL触发器在造数据方面的功效。 

 
 
下面是基表结果:
 
 
  1. CREATE TABLE `tb1` ( 
  2.   `id` varchar(255) NOT NULL
  3.   `log_date` date DEFAULT NULL
  4.   PRIMARY KEY (`id`) 
  5. ) ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=FIXED 
 
 
这个是对基表的批量插入存储过程:
 
 
  1. CREATE DEFINER = 'root'@'localhost' 
  2. PROCEDURE db_myisam.sp_generate_tb1_data(IN cur_1        INT
  3.                                          IN f_input      INT
  4.                                          IN f_commit_num INT 
  5.                                          -- Stands for which month's date. 
  6. BEGIN 
  7.   DECLARE t_count     INT
  8.   DECLARE v_log_date DATE
  9.   DECLARE c_date  DATE DEFAULT '2012-07-01'
  10.  
  11.   SET t_count = cur_1 + (f_input - 1); 
  12.   SET @@autocommit = 0; 
  13.  
  14.   WHILE cur_1 <= t_count 
  15.   DO 
  16.     IF mod(cur_1, f_commit_num) = 1 THEN 
  17.       START TRANSACTION
  18.     END IF; 
  19.     SET v_log_date = date_add(c_date, INTERVAL ceil(rand() * 3) * (ceil(rand() * 15)) DAY); 
  20.     INSERT INTO tb1 (id, log_date) VALUES (cur_1, v_log_date); 
  21.     IF mod(cur_1, f_commit_num) = 0 THEN 
  22.       COMMIT
  23.     END IF; 
  24.     SET cur_1 = cur_1 + 1; 
  25.   END WHILE; 
  26.   COMMIT
  27. END 
 
 
 
 
单线程造数据:
 
 
 
  1. mysql> call sp_generate_tb1_data(1,10000000,200); 
  2. Query OK, 0 rows affected (8 min 20.00 sec) 
 
1KW行记录花了8分钟多,也就是一个线程每秒插入2W条记录。
 
 
 
  1. mysql> select count(*) from tb1; 
  2. +----------+ 
  3. count(*) | 
  4. +----------+ 
  5. | 10000000 | 
  6. +----------+ 
  7. 1 row in set (34.35 sec) 
 
 
创建复制表:
 
 
  1. create table tb2 like tb1; 
  2. create table tb3 like tb1; 
 
这里比较恶心的是多建立了一个表tb3,因为MySQL触发器暂时不支持自己对自己插入。
 
 
 
这个是基于表tb3的后置插入触发器:
 
 
  1. CREATE  
  2.     DEFINER = 'root'@'localhost' 
  3. TRIGGER db_myisam.ti_tb3_after 
  4.     AFTER INSERT 
  5.     ON db_myisam.tb3 
  6.     FOR EACH ROW 
  7. BEGIN 
  8.   DECLARE v_cur_1    INT DEFAULT 1; 
  9.   DECLARE v_log_date DATE
  10.   DECLARE c_date     DATE DEFAULT '2012-07-01'
  11.  
  12.   WHILE v_cur_1 <= 10000000 
  13.   DO 
  14.     SET v_log_date = date_add(c_date, INTERVAL ceil(rand() * 3) * (ceil(rand() * 15)) DAY); 
  15.     INSERT INTO tb2 (id, log_date) VALUES (v_cur_1, v_log_date); 
  16.     SET v_cur_1 = v_cur_1 + 1; 
  17.   END WHILE; 
  18. END 
 
 
1KW记录花了不到6分钟,也就是一个线程每秒插入大于3W记录。
 
 
  1. mysql> insert into tb3 values (2,current_date()); 
  2. Query OK, 1 row affected (5 min 14.07 sec) 
 
可以看到,速度比存储过程提升了60%左右。 
 
怎么样,很HAPPY吧?





本文转自 david_yeung 51CTO博客,原文链接:http://blog.51cto.com/yueliangdao0608/1066993 ,如需转载请自行联系原作者
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
相关文章
|
9月前
|
缓存 NoSQL 关系型数据库
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
|
7月前
|
SQL 人工智能 关系型数据库
如何实现MySQL百万级数据的查询?
本文探讨了在MySQL中对百万级数据进行排序分页查询的优化策略。面对五百万条数据,传统的浅分页和深分页查询效率较低,尤其深分页因偏移量大导致性能显著下降。通过为排序字段添加索引、使用联合索引、手动回表等方法,有效提升了查询速度。最终建议根据业务需求选择合适方案:浅分页可加单列索引,深分页推荐联合索引或子查询优化,同时结合前端传递最后一条数据ID的方式实现高效翻页。
400 0
|
6月前
|
存储 关系型数据库 MySQL
在CentOS 8.x上安装Percona Xtrabackup工具备份MySQL数据步骤。
以上就是在CentOS8.x上通过Perconaxtabbackup工具对Mysql进行高效率、高可靠性、无锁定影响地实现在线快速全量及增加式数据库资料保存与恢复流程。通过以上流程可以有效地将Mysql相关资料按需求完成定期或不定期地保存与灾难恢复需求。
533 10
|
5月前
|
SQL 关系型数据库 MySQL
索引设计实战:如何创建高性能MySQL索引
本文深入解析MySQL索引设计的核心原则与实战技巧,涵盖索引选择性、复合索引、性能优化及常见陷阱等内容,通过实际案例帮助开发者创建高效索引,显著提升数据库查询速度,助你打造高性能数据库系统。
|
7月前
|
SQL 存储 缓存
MySQL 如何高效可靠处理持久化数据
本文详细解析了 MySQL 的 SQL 执行流程、crash-safe 机制及性能优化策略。内容涵盖连接器、分析器、优化器、执行器与存储引擎的工作原理,深入探讨 redolog 与 binlog 的两阶段提交机制,并分析日志策略、组提交、脏页刷盘等关键性能优化手段,帮助提升数据库稳定性与执行效率。
202 0
|
9月前
|
存储 关系型数据库 MySQL
【免费动手教程上线】阿里云RDS MySQL推出大容量高性能存储:高性能本地盘(最高16TB存储空间)、高性能云盘(最高64TB存储空间)
阿里云RDS MySQL提供高性能本地盘与高性能云盘等存储方案,满足用户大容量、低延迟需求。高性能本地盘单盘最大16TB,IO延时微秒级;高性能云盘兼容ESSD特性,支持IO性能突发、BPE及16K原子写等能力。此外,阿里云还提供免费动手体验教程,帮助用户直观感受云数据库 RDS 存储性能表现。
|
10月前
|
关系型数据库 MySQL Linux
在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾
以上就是在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾的步骤。这个过程就像是一场接力赛,数据从MySQL数据库中接力棒一样传递到备份文件,再从备份文件传递到其他服务器,最后再传递回MySQL数据库。这样,即使在灾难发生时,我们也可以快速恢复数据,保证业务的正常运行。
496 28
|
9月前
|
存储 SQL 缓存
mysql数据引擎有哪些
MySQL 提供了多种存储引擎,每种引擎都有其独特的特点和适用场景。以下是一些常见的 MySQL 存储引擎及其特点:
254 0

推荐镜像

更多