jdbc批量插入

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 分享牛,分享牛原创。有这样一个需求,文本文件中的数据批量的插入mysql,怎么用jdbc方式批量插入呢?jdbc默认提供了批量插入的方法,可能用一次就忘记了,这里做笔记记录一下jdbc批量插入吧。

分享牛,分享牛原创。有这样一个需求,文本文件中的数据批量的插入mysql,怎么用jdbc方式批量插入呢?

jdbc默认提供了批量插入的方法,可能用一次就忘记了,这里做笔记记录一下jdbc批量插入吧。

1.1.1. 代码

Connection conn = null;
 
     try {
 
Class.forName("com.mysql.jdbc.Driver");
conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/cxjc", "root", "");
conn.setAutoCommit(false);
String sql = "insert into accout(id,NAME,money) values(?,?,?)";
PreparedStatement ps = conn.prepareStatement(sql);
for(int i=1; i<3000; i++){
   
    ps.setString(1, i+"");
    ps.setString(2, i+"");
    ps.setString(3, i+"");
    //添加
    ps.addBatch();
   
}
//执行
 ps.executeBatch();
conn.commit();
}catch(Exception e){
}
}

1.1.2. 注意的地方

conn.setAutoCommit(false);

开启不支持事物,为什么要开启这个不支持事物的操作呢?这里主要是为了提高批量插入的效率,因为如果开启事物,那么mysql批量插入的时候,会产生一个log文件记录,每一条insert产生一个log记录,那这样其实跟单条sql的插入基本一样,所以关闭事务。这样性能提高可能是量级的提升。

1.1.3. 优化

sql非常多的时候,我们可以查询到1000sql的时候,就插入到数据库,这样保证每次插入的记录数就是批量插入一定的数量,而不是一次性非常多,代码的演变如下:

public static void main(String[] args) {
Connection conn = null;
 
     try {
 
Class.forName("com.mysql.jdbc.Driver");
conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/cxjc", "root", "");
conn.setAutoCommit(false);
String sql = "insert into accout(id,NAME,money) values(?,?,?)";
PreparedStatement ps = conn.prepareStatement(sql);
for(int i=1; i<3000; i++){
   
    ps.setString(1, i+"");
    ps.setString(2, i+"");
    ps.setString(3, i+"");
    ps.addBatch();
    //添加
    if (i%1000==0) {
    	 ps.executeBatch();
    	conn.commit();
}
}
//执行剩余的数据
 ps.executeBatch();
conn.commit();
}catch(Exception e){
}

分享牛原创(尊重原创 转载对的时候第一行请注明,转载出处来自分享牛http://blog.csdn.net/qq_30739519)

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
6月前
|
安全 Java 数据库连接
jdbc解析excel文件,批量插入数据至库中
jdbc解析excel文件,批量插入数据至库中
|
Java 数据库连接
使用JDBC中的PreparedStatement批量插入
使用JDBC中的PreparedStatement批量插入
347 0
|
Java 关系型数据库 MySQL
JDBC学习(八):PreparedStatement实现数据的批量插入
JDBC学习(八):PreparedStatement实现数据的批量插入
310 0
|
SQL 缓存 Java
jdbc之批量插入
jdbc之批量插入
|
SQL 监控 关系型数据库
|
29天前
|
Java 关系型数据库 MySQL
mysql5.7 jdbc驱动
遵循上述步骤,即可在Java项目中高效地集成MySQL 5.7 JDBC驱动,实现数据库的访问与管理。
114 1
|
1月前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
84 0
|
1月前
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
37 0
|
1月前
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
46 0
|
3月前
|
SQL druid Java
Java数据库部分(MySQL+JDBC)(二、JDBC超详细学习笔记)(下)
Java数据库部分(MySQL+JDBC)(二、JDBC超详细学习笔记)
55 3
Java数据库部分(MySQL+JDBC)(二、JDBC超详细学习笔记)(下)