JDBC批量插入mysql数据

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS SQL Server Serverless,2-4RCU 50GB 3个月
推荐场景:
简介: JDBC批量插入mysql数据
  • 单线程(单条循环)插入50000条记录:
    每执行一次就要访问一次数据库
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
 
 
public class Test {
 
    public static void main(String[] args) {
         
         Connection conn;
         Statement stmt;
         ResultSet rs = null;
         String url = "jdbc:sqlserver://localhost:1433;DatabaseName=test;";
         String sql = "insert into student(name,age) values('wang',12)";
         try {
             // 连接数据库
             conn = DriverManager.getConnection(url, "sa", "123456");
             // 建立Statement对象
             stmt = conn.createStatement();
             /**
              * Statement createStatement() 创建一个 Statement 对象来将 SQL 语句发送到数据库。
              */
             // 执行数据库查询语句
             long starttime=System.currentTimeMillis();
             for(int i=0; i<50000;i++){
                 stmt.executeUpdate(sql);
             }
             long spendtime=System.currentTimeMillis()-starttime;
             System.out.println( "单线程批处理花费时间:"+spendtime);
             /**
              * ResultSet executeQuery(String sql) throws SQLException 执行给定的 SQL
              * 语句,该语句返回单个 ResultSet 对象
              */
             if (rs != null) {
                 rs.close();
                 rs = null;
             }
             if (stmt != null) {
                 stmt.close();
                 stmt = null;
             }
             if (conn != null) {
                 conn.close();
                 conn = null;
             }
         } catch (SQLException e) {
             e.printStackTrace();
             System.out.println("数据库连接失败");
         }       
    }   
}
  • 单线程(批处理)插入50000条记录:
    stmt.addBatch():把要执行的多条sql语句放在一起,通过stmt.executeBatch()只访问一次数据库,就前面的多条sql语句一起插入
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
 
public class Test {
 
    public static void main(String[] args) {
         
         Connection conn;
         Statement stmt;
         ResultSet rs = null;
         String url = "jdbc:sqlserver://localhost:1433;DatabaseName=test;";
         String sql = "insert into student(name,age) values('wang',12)";
         try {
             // 连接数据库
             conn = DriverManager.getConnection(url, "sa", "123456");
             // 建立Statement对象
             stmt = conn.createStatement();
             /**
              * Statement createStatement() 创建一个 Statement 对象来将 SQL 语句发送到数据库。
              */
             // 执行数据库查询语句
             long starttime=System.currentTimeMillis();
             for(int i=0; i<50000;i++){
                 stmt.addBatch("insert into student(name,age) values('wang',12)");
             }
             stmt.executeBatch();
             long spendtime=System.currentTimeMillis()-starttime;
             System.out.println( "单线程批处理花费时间:"+spendtime);
             /**
              * ResultSet executeQuery(String sql) throws SQLException 执行给定的 SQL
              * 语句,该语句返回单个 ResultSet 对象
              */
             if (rs != null) {
                 rs.close();
                 rs = null;
             }
             if (stmt != null) {
                 stmt.close();
                 stmt = null;
             }
             if (conn != null) {
                 conn.close();
                 conn = null;
             }
         } catch (SQLException e) {
             e.printStackTrace();
             System.out.println("数据库连接失败");
         } 
    }   
}
  • 多线程(单条循环)插入50000条记录:
    启动5个线程,每个线程插入10000条记录
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.UUID;
import java.util.concurrent.CountDownLatch;
 
 
public class InsertTest {
 
      private String url="jdbc:sqlserver://localhost:1433;DatabaseName=test;";
        private String user="sa";
        private String password="123456";
        public Connection getConnect(){
            Connection con = null;
             try {
                Class.forName("com.microsoft.sqlserver.jdbc.SQLServerDriver");
                con=DriverManager.getConnection(url, user, password);
            } catch (Exception e) {
                e.printStackTrace();
            }
             return con;
        }
        public void multiThreadImport( final int ThreadNum){
            final CountDownLatch cdl= new CountDownLatch(ThreadNum);
            long starttime=System.currentTimeMillis();
            for(int k=1;k<=ThreadNum;k++){
                new Thread(new Runnable() {
                    @Override
                    public void run() {
                        Connection con=getConnect();
                        try {
                            Statement st=con.createStatement();
                            for(int i=1;i<=10000;i++){
                                //st.addBatch("insert into student(name,age) values('wang',12)");
                                st.executeUpdate("insert into student(name,age) values('wang',12)");
                            }
                            //st.executeBatch();
                            cdl.countDown();
                        } catch (Exception e) {
                        }finally{
                            try {
                                con.close();
                            } catch (SQLException e) {
                                e.printStackTrace();
                            }
                        }
                    }
                }).start();
            }
            try {
                cdl.await();
                long spendtime=System.currentTimeMillis()-starttime;
                System.out.println( ThreadNum+"个线程花费时间:"+spendtime);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
 
        }
 
        public static void main(String[] args) throws Exception {
            InsertTest ti=new InsertTest();
            ti.multiThreadImport(5);
        }
  • 多线程+批处理插入50000条记录:
    启动5个线程
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.UUID;
import java.util.concurrent.CountDownLatch;
 
 
public class InsertTest {
 
      private String url="jdbc:sqlserver://localhost:1433;DatabaseName=test;";
        private String user="sa";
        private String password="Rfid123456";
        public Connection getConnect(){
            Connection con = null;
             try {
                Class.forName("com.microsoft.sqlserver.jdbc.SQLServerDriver");
                con=DriverManager.getConnection(url, user, password);
            } catch (Exception e) {
                e.printStackTrace();
            }
             return con;
        }
        public void multiThreadImport( final int ThreadNum){
            final CountDownLatch cdl= new CountDownLatch(ThreadNum);//定义线程数量
            long starttime=System.currentTimeMillis();
            for(int k=1;k<=ThreadNum;k++){
                new Thread(new Runnable() {
                    @Override
                    public void run() {
                        Connection con=getConnect();
                        try {
                            Statement st=con.createStatement();
                            for(int i=1;i<=50000/ThreadNum;i++){
                                st.addBatch("insert into student(name,age) values('wang',12)");
                                if(i%500 == 0){
                                    st.executeBatch();
                                }
                            }
                            cdl.countDown();    //执行完一个线程,递减1
                        } catch (Exception e) {
                        }finally{
                            try {
                                con.close();
                            } catch (SQLException e) {
                                e.printStackTrace();
                            }
                        }
                    }
                }).start();
            }
            try {
                cdl.await();    //前面线程没执行完,其他线程等待,不往下执行
                long spendtime=System.currentTimeMillis()-starttime;
                System.out.println( ThreadNum+"个线程花费时间:"+spendtime);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
 
        }
 
        public static void main(String[] args) throws Exception {
            InsertTest ti=new InsertTest();
            ti.multiThreadImport(5);
        }
}


相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
2月前
|
安全 关系型数据库 MySQL
如何将数据从MySQL同步到其他系统
【10月更文挑战第17天】如何将数据从MySQL同步到其他系统
304 0
|
2月前
|
SQL 前端开发 关系型数据库
全表数据核对 ,行数据核对,列数据核对,Mysql 8.0 实例(sample database classicmodels _No.3 )
全表数据核对 ,行数据核对,列数据核对,Mysql 8.0 实例(sample database classicmodels _No.3 )
62 0
全表数据核对 ,行数据核对,列数据核对,Mysql 8.0 实例(sample database classicmodels _No.3 )
|
2月前
|
关系型数据库 MySQL 数据库
mysql 里创建表并插入数据
【10月更文挑战第5天】
165 1
|
2月前
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
56 3
|
12天前
|
存储 关系型数据库 MySQL
mysql怎么查询longblob类型数据的大小
通过本文的介绍,希望您能深入理解如何查询MySQL中 `LONG BLOB`类型数据的大小,并结合优化技术提升查询性能,以满足实际业务需求。
46 6
|
1月前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
149 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
24天前
|
SQL 关系型数据库 MySQL
mysql分页读取数据重复问题
在服务端开发中,与MySQL数据库进行数据交互时,常因数据量大、网络延迟等因素需分页读取数据。文章介绍了使用`limit`和`offset`参数实现分页的方法,并针对分页过程中可能出现的数据重复问题进行了详细分析,提出了利用时间戳或确保排序规则绝对性等解决方案。
|
29天前
|
关系型数据库 MySQL 数据库
GBase 数据库如何像MYSQL一样存放多行数据
GBase 数据库如何像MYSQL一样存放多行数据
|
1月前
|
缓存 NoSQL 关系型数据库
Redis和Mysql如何保证数据⼀致?
在项目中,为了解决Redis与Mysql的数据一致性问题,我们采用了多种策略:对于低一致性要求的数据,不做特别处理;时效性数据通过设置缓存过期时间来减少不一致风险;高一致性但时效性要求不高的数据,利用MQ异步同步确保最终一致性;而对一致性和时效性都有高要求的数据,则采用分布式事务(如Seata TCC模式)来保障。
67 14
|
1月前
|
SQL 前端开发 关系型数据库
SpringBoot使用mysql查询昨天、今天、过去一周、过去半年、过去一年数据
SpringBoot使用mysql查询昨天、今天、过去一周、过去半年、过去一年数据
65 9