JDBC批量插入mysql数据

本文涉及的产品
RDS AI 助手,专业版
RDS DuckDB + QuickBI 企业套餐,8核32GB + QuickBI 专业版
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
简介: JDBC批量插入mysql数据
  • 单线程(单条循环)插入50000条记录:
    每执行一次就要访问一次数据库
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
 
 
public class Test {
 
    public static void main(String[] args) {
         
         Connection conn;
         Statement stmt;
         ResultSet rs = null;
         String url = "jdbc:sqlserver://localhost:1433;DatabaseName=test;";
         String sql = "insert into student(name,age) values('wang',12)";
         try {
             // 连接数据库
             conn = DriverManager.getConnection(url, "sa", "123456");
             // 建立Statement对象
             stmt = conn.createStatement();
             /**
              * Statement createStatement() 创建一个 Statement 对象来将 SQL 语句发送到数据库。
              */
             // 执行数据库查询语句
             long starttime=System.currentTimeMillis();
             for(int i=0; i<50000;i++){
                 stmt.executeUpdate(sql);
             }
             long spendtime=System.currentTimeMillis()-starttime;
             System.out.println( "单线程批处理花费时间:"+spendtime);
             /**
              * ResultSet executeQuery(String sql) throws SQLException 执行给定的 SQL
              * 语句,该语句返回单个 ResultSet 对象
              */
             if (rs != null) {
                 rs.close();
                 rs = null;
             }
             if (stmt != null) {
                 stmt.close();
                 stmt = null;
             }
             if (conn != null) {
                 conn.close();
                 conn = null;
             }
         } catch (SQLException e) {
             e.printStackTrace();
             System.out.println("数据库连接失败");
         }       
    }   
}
  • 单线程(批处理)插入50000条记录:
    stmt.addBatch():把要执行的多条sql语句放在一起,通过stmt.executeBatch()只访问一次数据库,就前面的多条sql语句一起插入
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
 
public class Test {
 
    public static void main(String[] args) {
         
         Connection conn;
         Statement stmt;
         ResultSet rs = null;
         String url = "jdbc:sqlserver://localhost:1433;DatabaseName=test;";
         String sql = "insert into student(name,age) values('wang',12)";
         try {
             // 连接数据库
             conn = DriverManager.getConnection(url, "sa", "123456");
             // 建立Statement对象
             stmt = conn.createStatement();
             /**
              * Statement createStatement() 创建一个 Statement 对象来将 SQL 语句发送到数据库。
              */
             // 执行数据库查询语句
             long starttime=System.currentTimeMillis();
             for(int i=0; i<50000;i++){
                 stmt.addBatch("insert into student(name,age) values('wang',12)");
             }
             stmt.executeBatch();
             long spendtime=System.currentTimeMillis()-starttime;
             System.out.println( "单线程批处理花费时间:"+spendtime);
             /**
              * ResultSet executeQuery(String sql) throws SQLException 执行给定的 SQL
              * 语句,该语句返回单个 ResultSet 对象
              */
             if (rs != null) {
                 rs.close();
                 rs = null;
             }
             if (stmt != null) {
                 stmt.close();
                 stmt = null;
             }
             if (conn != null) {
                 conn.close();
                 conn = null;
             }
         } catch (SQLException e) {
             e.printStackTrace();
             System.out.println("数据库连接失败");
         } 
    }   
}
  • 多线程(单条循环)插入50000条记录:
    启动5个线程,每个线程插入10000条记录
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.UUID;
import java.util.concurrent.CountDownLatch;
 
 
public class InsertTest {
 
      private String url="jdbc:sqlserver://localhost:1433;DatabaseName=test;";
        private String user="sa";
        private String password="123456";
        public Connection getConnect(){
            Connection con = null;
             try {
                Class.forName("com.microsoft.sqlserver.jdbc.SQLServerDriver");
                con=DriverManager.getConnection(url, user, password);
            } catch (Exception e) {
                e.printStackTrace();
            }
             return con;
        }
        public void multiThreadImport( final int ThreadNum){
            final CountDownLatch cdl= new CountDownLatch(ThreadNum);
            long starttime=System.currentTimeMillis();
            for(int k=1;k<=ThreadNum;k++){
                new Thread(new Runnable() {
                    @Override
                    public void run() {
                        Connection con=getConnect();
                        try {
                            Statement st=con.createStatement();
                            for(int i=1;i<=10000;i++){
                                //st.addBatch("insert into student(name,age) values('wang',12)");
                                st.executeUpdate("insert into student(name,age) values('wang',12)");
                            }
                            //st.executeBatch();
                            cdl.countDown();
                        } catch (Exception e) {
                        }finally{
                            try {
                                con.close();
                            } catch (SQLException e) {
                                e.printStackTrace();
                            }
                        }
                    }
                }).start();
            }
            try {
                cdl.await();
                long spendtime=System.currentTimeMillis()-starttime;
                System.out.println( ThreadNum+"个线程花费时间:"+spendtime);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
 
        }
 
        public static void main(String[] args) throws Exception {
            InsertTest ti=new InsertTest();
            ti.multiThreadImport(5);
        }
  • 多线程+批处理插入50000条记录:
    启动5个线程
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.UUID;
import java.util.concurrent.CountDownLatch;
 
 
public class InsertTest {
 
      private String url="jdbc:sqlserver://localhost:1433;DatabaseName=test;";
        private String user="sa";
        private String password="Rfid123456";
        public Connection getConnect(){
            Connection con = null;
             try {
                Class.forName("com.microsoft.sqlserver.jdbc.SQLServerDriver");
                con=DriverManager.getConnection(url, user, password);
            } catch (Exception e) {
                e.printStackTrace();
            }
             return con;
        }
        public void multiThreadImport( final int ThreadNum){
            final CountDownLatch cdl= new CountDownLatch(ThreadNum);//定义线程数量
            long starttime=System.currentTimeMillis();
            for(int k=1;k<=ThreadNum;k++){
                new Thread(new Runnable() {
                    @Override
                    public void run() {
                        Connection con=getConnect();
                        try {
                            Statement st=con.createStatement();
                            for(int i=1;i<=50000/ThreadNum;i++){
                                st.addBatch("insert into student(name,age) values('wang',12)");
                                if(i%500 == 0){
                                    st.executeBatch();
                                }
                            }
                            cdl.countDown();    //执行完一个线程,递减1
                        } catch (Exception e) {
                        }finally{
                            try {
                                con.close();
                            } catch (SQLException e) {
                                e.printStackTrace();
                            }
                        }
                    }
                }).start();
            }
            try {
                cdl.await();    //前面线程没执行完,其他线程等待,不往下执行
                long spendtime=System.currentTimeMillis()-starttime;
                System.out.println( ThreadNum+"个线程花费时间:"+spendtime);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
 
        }
 
        public static void main(String[] args) throws Exception {
            InsertTest ti=new InsertTest();
            ti.multiThreadImport(5);
        }
}


相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
相关文章
|
11月前
|
缓存 NoSQL 关系型数据库
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
|
9月前
|
SQL 人工智能 关系型数据库
如何实现MySQL百万级数据的查询?
本文探讨了在MySQL中对百万级数据进行排序分页查询的优化策略。面对五百万条数据,传统的浅分页和深分页查询效率较低,尤其深分页因偏移量大导致性能显著下降。通过为排序字段添加索引、使用联合索引、手动回表等方法,有效提升了查询速度。最终建议根据业务需求选择合适方案:浅分页可加单列索引,深分页推荐联合索引或子查询优化,同时结合前端传递最后一条数据ID的方式实现高效翻页。
461 0
|
Java 数据库连接 数据库
【YashanDB知识库】jdbc查询st_geometry类型的数据时抛出YAS-00101 cannot allocate 0 bytes for anlHeapMalloc异常
【YashanDB知识库】jdbc查询st_geometry类型的数据时抛出YAS-00101 cannot allocate 0 bytes for anlHeapMalloc异常
|
8月前
|
存储 关系型数据库 MySQL
在CentOS 8.x上安装Percona Xtrabackup工具备份MySQL数据步骤。
以上就是在CentOS8.x上通过Perconaxtabbackup工具对Mysql进行高效率、高可靠性、无锁定影响地实现在线快速全量及增加式数据库资料保存与恢复流程。通过以上流程可以有效地将Mysql相关资料按需求完成定期或不定期地保存与灾难恢复需求。
609 10
|
9月前
|
SQL 存储 缓存
MySQL 如何高效可靠处理持久化数据
本文详细解析了 MySQL 的 SQL 执行流程、crash-safe 机制及性能优化策略。内容涵盖连接器、分析器、优化器、执行器与存储引擎的工作原理,深入探讨 redolog 与 binlog 的两阶段提交机制,并分析日志策略、组提交、脏页刷盘等关键性能优化手段,帮助提升数据库稳定性与执行效率。
232 0
|
关系型数据库 MySQL Linux
在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾
以上就是在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾的步骤。这个过程就像是一场接力赛,数据从MySQL数据库中接力棒一样传递到备份文件,再从备份文件传递到其他服务器,最后再传递回MySQL数据库。这样,即使在灾难发生时,我们也可以快速恢复数据,保证业务的正常运行。
520 28
|
Java 数据库连接 定位技术
【YashanDB知识库】如何使用jdbc向YashanDB批量插入gis数据
本文以GIS表为例,介绍通过Java代码向数据库插入POINT类型地理数据的方法。首先创建包含ID和POS字段的GIS表,POS字段为ST_GEOMETRY类型。接着利用Java的PreparedStatement批量插入10条经纬度相同的POINT数据,最后查询结果显示成功插入10条记录,验证了操作的正确性。
226 19
|
存储 SQL 关系型数据库
【YashanDB知识库】MySQL迁移至崖山char类型数据自动补空格问题
**简介**:在MySQL迁移到崖山环境时,若字段类型为char(2),而应用存储的数据仅为&#39;0&#39;或&#39;1&#39;,查询时崖山会自动补空格。原因是mysql的sql_mode可能启用了PAD_CHAR_TO_FULL_LENGTH模式,导致保留CHAR类型尾随空格。解决方法是与应用确认数据需求,可将崖山环境中的char类型改为varchar类型以规避补空格问题,适用于所有版本。
|
Java 数据库连接 定位技术
【YashanDB知识库】如何使用jdbc向YashanDB批量插入gis数据
【YashanDB知识库】如何使用jdbc向YashanDB批量插入gis数据
|
11月前
|
存储 SQL 缓存
mysql数据引擎有哪些
MySQL 提供了多种存储引擎,每种引擎都有其独特的特点和适用场景。以下是一些常见的 MySQL 存储引擎及其特点:
285 0

推荐镜像

更多
下一篇
开通oss服务