【原创】利用MySQL触发器高性能造数据

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介:

MySQL 触发器功能比较简单,大部分只用来简单的更新第三方表,今天我来演示下MySQL触发器在造数据方面的功效。 

 
 
下面是基表结果:
 
 
  1. CREATE TABLE `tb1` ( 
  2.   `id` varchar(255) NOT NULL
  3.   `log_date` date DEFAULT NULL
  4.   PRIMARY KEY (`id`) 
  5. ) ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=FIXED 
 
 
这个是对基表的批量插入存储过程:
 
 
  1. CREATE DEFINER = 'root'@'localhost' 
  2. PROCEDURE db_myisam.sp_generate_tb1_data(IN cur_1        INT
  3.                                          IN f_input      INT
  4.                                          IN f_commit_num INT 
  5.                                          -- Stands for which month's date. 
  6. BEGIN 
  7.   DECLARE t_count     INT
  8.   DECLARE v_log_date DATE
  9.   DECLARE c_date  DATE DEFAULT '2012-07-01'
  10.  
  11.   SET t_count = cur_1 + (f_input - 1); 
  12.   SET @@autocommit = 0; 
  13.  
  14.   WHILE cur_1 <= t_count 
  15.   DO 
  16.     IF mod(cur_1, f_commit_num) = 1 THEN 
  17.       START TRANSACTION
  18.     END IF; 
  19.     SET v_log_date = date_add(c_date, INTERVAL ceil(rand() * 3) * (ceil(rand() * 15)) DAY); 
  20.     INSERT INTO tb1 (id, log_date) VALUES (cur_1, v_log_date); 
  21.     IF mod(cur_1, f_commit_num) = 0 THEN 
  22.       COMMIT
  23.     END IF; 
  24.     SET cur_1 = cur_1 + 1; 
  25.   END WHILE; 
  26.   COMMIT
  27. END 
 
 
 
 
单线程造数据:
 
 
 
  1. mysql> call sp_generate_tb1_data(1,10000000,200); 
  2. Query OK, 0 rows affected (8 min 20.00 sec) 
 
1KW行记录花了8分钟多,也就是一个线程每秒插入2W条记录。
 
 
 
  1. mysql> select count(*) from tb1; 
  2. +----------+ 
  3. count(*) | 
  4. +----------+ 
  5. | 10000000 | 
  6. +----------+ 
  7. 1 row in set (34.35 sec) 
 
 
创建复制表:
 
 
  1. create table tb2 like tb1; 
  2. create table tb3 like tb1; 
 
这里比较恶心的是多建立了一个表tb3,因为MySQL触发器暂时不支持自己对自己插入。
 
 
 
这个是基于表tb3的后置插入触发器:
 
 
  1. CREATE  
  2.     DEFINER = 'root'@'localhost' 
  3. TRIGGER db_myisam.ti_tb3_after 
  4.     AFTER INSERT 
  5.     ON db_myisam.tb3 
  6.     FOR EACH ROW 
  7. BEGIN 
  8.   DECLARE v_cur_1    INT DEFAULT 1; 
  9.   DECLARE v_log_date DATE
  10.   DECLARE c_date     DATE DEFAULT '2012-07-01'
  11.  
  12.   WHILE v_cur_1 <= 10000000 
  13.   DO 
  14.     SET v_log_date = date_add(c_date, INTERVAL ceil(rand() * 3) * (ceil(rand() * 15)) DAY); 
  15.     INSERT INTO tb2 (id, log_date) VALUES (v_cur_1, v_log_date); 
  16.     SET v_cur_1 = v_cur_1 + 1; 
  17.   END WHILE; 
  18. END 
 
 
1KW记录花了不到6分钟,也就是一个线程每秒插入大于3W记录。
 
 
  1. mysql> insert into tb3 values (2,current_date()); 
  2. Query OK, 1 row affected (5 min 14.07 sec) 
 
可以看到,速度比存储过程提升了60%左右。 
 
怎么样,很HAPPY吧?





本文转自 david_yeung 51CTO博客,原文链接:http://blog.51cto.com/yueliangdao0608/1066993 ,如需转载请自行联系原作者
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
18天前
|
canal 消息中间件 关系型数据库
Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
【9月更文挑战第1天】Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
114 4
|
2天前
|
存储 关系型数据库 MySQL
技术解析:MySQL中取最新一条重复数据的方法
以上提供的两种方法都可以有效地从MySQL数据库中提取每个类别最新的重复数据。选择哪种方法取决于具体的使用场景和MySQL版本。子查询加分组的方法兼容性更好,适用于所有版本的MySQL;而窗口函数方法代码更简洁,执行效率可能更高,但需要MySQL 8.0及以上版本。在实际应用中,应根据数据量大小、查询性能需求以及MySQL版本等因素综合考虑,选择最合适的实现方案。
16 6
|
2天前
|
关系型数据库 MySQL 数据处理
针对MySQL亿级数据的高效插入策略与性能优化技巧
在处理MySQL亿级数据的高效插入和性能优化时,以上提到的策略和技巧可以显著提升数据处理速度,减少系统负担,并保持数据的稳定性和一致性。正确实施这些策略需要深入理解MySQL的工作原理和业务需求,以便做出最适合的配置调整。
18 6
|
21天前
|
SQL 存储 缓存
MySQL是如何保证数据不丢失的?
文章详细阐述了InnoDB存储引擎中Buffer Pool与DML操作的关系。在执行插入、更新或删除操作时,InnoDB为了减少磁盘I/O,会在Buffer Pool中缓存数据页进行操作,随后将更新后的“脏页”刷新至磁盘。为防止服务宕机导致数据丢失,InnoDB采用了日志先行(WAL)机制,通过将DML操作记录为Redo Log并异步刷新到磁盘,结合双写机制和合理的日志刷新策略,确保数据的持久性和一致性。尽管如此,仍需合理配置参数以平衡性能与数据安全性。
MySQL是如何保证数据不丢失的?
|
18天前
|
存储 关系型数据库 MySQL
|
18天前
|
存储 关系型数据库 MySQL
MySQL 中的触发器数量之谜
【8月更文挑战第31天】
24 0
|
18天前
|
SQL 数据采集 关系型数据库
|
19天前
|
SQL 关系型数据库 MySQL
SQL Server、MySQL、PostgreSQL:主流数据库SQL语法异同比较——深入探讨数据类型、分页查询、表创建与数据插入、函数和索引等关键语法差异,为跨数据库开发提供实用指导
【8月更文挑战第31天】SQL Server、MySQL和PostgreSQL是当今最流行的关系型数据库管理系统,均使用SQL作为查询语言,但在语法和功能实现上存在差异。本文将比较它们在数据类型、分页查询、创建和插入数据以及函数和索引等方面的异同,帮助开发者更好地理解和使用这些数据库。尽管它们共用SQL语言,但每个系统都有独特的语法规则,了解这些差异有助于提升开发效率和项目成功率。
87 0
|
3月前
|
存储 SQL 关系型数据库
MySQL 进阶使用【函数、索引、视图、存储过程、存储函数、触发器】(2)
MySQL 进阶使用【函数、索引、视图、存储过程、存储函数、触发器】
|
3月前
|
存储 SQL 关系型数据库
MySQL 进阶使用【函数、索引、视图、存储过程、存储函数、触发器】(1)
MySQL 进阶使用【函数、索引、视图、存储过程、存储函数、触发器】