JDBC的批量批量插入

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介:

一. JDBC的批量插入

1.Mysql的驱动jar包选择(重要)

使用MySQL的Batch批量处理,驱动jar包版本需要5.1.13或以上  我使用的驱动版本:mysql-connector-java-5.1.18-bin  (一开始我忽略掉这个jar包的条件要求了,使用的是mysql-connector-java-5.1.6-bin.jar在批处理插入时候效率和普通一样)

2.测试表结构

测试表结构如下:
CREATE TABLE test (
  id int(11) DEFAULT NULL,
  name varchar(20) DEFAULT NULL
) ENGINE=InnoDB 

3.首先使用普通的方式插入100万条数据,使用时间154901毫秒

程序如下:

复制代码
 1     public static void generalInsert() throws ClassNotFoundException,SQLException{
 2         long start = System.currentTimeMillis();
 3         Class.forName("com.mysql.jdbc.Driver");
 4         Connection connection = DriverManager.getConnection(
 5                 "jdbc:mysql://127.0.0.1:3306/kxh", "root", "root");
 6 
 7         connection.setAutoCommit(false);
 8         PreparedStatement cmd = connection
 9                 .prepareStatement("insert into test values(?,?)");
10 
11         for (int i = 0; i < 1000000; i++) {
12             cmd.setInt(1, i);
13             cmd.setString(2, "test");
14             cmd.executeUpdate();
15         }
16         connection.commit();
17 
18         cmd.close();
19         connection.close();
20 
21         long end = System.currentTimeMillis();
22         System.out.println(end - start);//158918毫秒
23     }
复制代码

4.使用批量处理100万条数据,仅用24675毫秒,提升效果非常明显,提升了6倍多.

程序如下:

复制代码
 1     public static void batchInsert() throws ClassNotFoundException, SQLException{
 2         long start = System.currentTimeMillis();
 3         Class.forName("com.mysql.jdbc.Driver");
 4         Connection connection = DriverManager.getConnection(
 5                         "jdbc:mysql://127.0.0.1:3306/kxh?useServerPrepStmts=false&rewriteBatchedStatements=true",
 6                         "root", "root");
 7 
 8         connection.setAutoCommit(false);
 9         PreparedStatement cmd = connection
10                 .prepareStatement("insert into test1 values(?,?)");
11         
12         for (int i = 0; i < 1000000; i++) {//100万条数据
13             cmd.setInt(1, i);
14             cmd.setString(2, "test");
15             cmd.addBatch();
16             if(i%1000==0){
17                 cmd.executeBatch();
18             }
19         }
20         cmd.executeBatch();
21         connection.commit();
22         
23         cmd.close();
24         connection.close();
25         
26         long end = System.currentTimeMillis();

27 System.out.println("批量插入需要时间:"+(end - start)); //批量插入需要时间:24675 28 }
复制代码

 

MySQL 的驱动jar包在默认情况下会无视executeBatch()语句,把我们期望批量执行的一组sql语句拆散,一条一条地发给MySQL数据库,直接造成较低的性能。

与Oracle不同的是,Mysql需要添加rewriteBatchedStatements=true的参数,才可以使用批量处理,否则还是使用逐条处理的方式。另外,有人说rewriteBatchedStatements只对INSERT有效,有人说它对UPDATE/DELETE也有效。

通过试验结论是: 这个选项对INSERT/UPDATE/DELETE都有效,只不过对INSERT它为会预先重排一下SQL语句

5.开启Myslq的查询日志

①批量插入的日志:

开启MySQL的查询日志general_log(关于如何打开,查看mysql的日志请查看博客:http://www.cnblogs.com/DreamDrive/p/5761005.html),发现如下SQL
INSERT INTO test  
VALUES (11, 'test'), (12, 'test'), (13, 'test')......


上下两行的id号码正好相差1000,也就是代码中设置的每1000次提交一次批处理.

②普通插入对应的日志:

如果使用普通的插入打印日志如下:

 

相对Oracle的批量处理,MySQL需要JDBC参数显式开启,并且对于JDBC驱动的版本也有要求。

 参数useServerPrepStmts=false,如果不开启(useServerPrepStmts=false),使用com.mysql.jdbc.PreparedStatement进行本地SQL拼装,最后送到db上就是已经替换了?后的最终SQL.

 


本文转自SummerChill博客园博客,原文链接:http://www.cnblogs.com/DreamDrive/p/5757693.html,如需转载请自行联系原作者

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
1月前
|
安全 Java 数据库连接
jdbc解析excel文件,批量插入数据至库中
jdbc解析excel文件,批量插入数据至库中
24 0
|
Java 数据库连接
使用JDBC中的PreparedStatement批量插入
使用JDBC中的PreparedStatement批量插入
295 0
|
Java 关系型数据库 MySQL
JDBC学习(八):PreparedStatement实现数据的批量插入
JDBC学习(八):PreparedStatement实现数据的批量插入
237 0
|
SQL 缓存 Java
jdbc之批量插入
jdbc之批量插入
|
SQL 关系型数据库 Java
jdbc批量插入
分享牛,分享牛原创。有这样一个需求,文本文件中的数据批量的插入mysql,怎么用jdbc方式批量插入呢? jdbc默认提供了批量插入的方法,可能用一次就忘记了,这里做笔记记录一下jdbc批量插入吧。
1473 0
|
1月前
|
SQL Java 关系型数据库
MySQL之JDBC(二)
MySQL之JDBC(二)
39 0
|
1月前
|
关系型数据库 MySQL Java
MySQL之JDBC(一)
MySQL之JDBC
37 0
|
1月前
|
关系型数据库 MySQL Java
MySQL的主从复制 && SpringBoot整合Sharding-JDBC解决读写分离
MySQL的主从复制 && SpringBoot整合Sharding-JDBC解决读写分离
45 0
|
25天前
|
Java 关系型数据库 数据库连接
实时计算 Flink版操作报错之在使用JDBC连接MySQL数据库时遇到报错,识别不到jdbc了,怎么解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
1月前
|
Java 关系型数据库 MySQL
JDBC实现往MySQL插入百万级数据
JDBC实现往MySQL插入百万级数据