JDBC学习(八):PreparedStatement实现数据的批量插入

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群版 2核4GB 100GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用版 2核4GB 50GB
简介: JDBC学习(八):PreparedStatement实现数据的批量插入

方法一:耗时最长(我的电脑比较老,插两万条大概耗时一分多钟)


package demo04;
import java.sql.Connection;
import java.sql.PreparedStatement;
import org.junit.jupiter.api.Test;
import utils.JDBCUtils;
/**
 * 使用prepaerdStatement实现批量插入
 * @author pc
 *
 */
public class InsertTest {
  @Test
  public void test(){
    Connection conn = null;
    PreparedStatement ps = null;
    try {
      long start = System.currentTimeMillis();
      conn = JDBCUtils.getConnection();
      String sql = "insert into admin (username)values(?)";
      ps = conn.prepareStatement(sql);
      for (int i = 0; i <= 20000; i++) {
        ps.setObject(1, "name_"+i);
        ps.execute();
      }
      long end = System.currentTimeMillis();
      System.out.println("花费时间为:"+(end-start)); //花费时间为:908010
    } catch (Exception e) {
      e.printStackTrace();
    } finally {
      JDBCUtils.closeResourse(conn, ps);
    }
  }
}


改进一:设置参数让mysql开启对批处理的支持(耗时3s多,效率明显提升)


package demo04;
import java.sql.Connection;
import java.sql.PreparedStatement;
import org.junit.jupiter.api.Test;
import utils.JDBCUtils;
/**
 * 使用prepaerdStatement实现批量插入
 * @author pc
 *
 */
public class InsertTest { 
  /**
   * mysql服务器默认是关闭批处理的,我们需要通过一个参数,让mysql开启批处理的支持。
   *     ?rewriteBatchedStatements=true 写在配置文件的url后面
   *    使用更新的mysql 驱动:mysql-connector-java-5.1.37-bin.jar
   */
  @Test
  public void test2(){
    Connection conn = null;
    PreparedStatement ps = null;
    try {
      long start = System.currentTimeMillis();
      conn = JDBCUtils.getConnection();
      String sql = "insert into admin (username)values(?)";
      ps = conn.prepareStatement(sql);
      for (int i = 0; i <= 20000; i++) {
        ps.setObject(1, "name_"+i);
        //1. “攒batch”
        ps.addBatch();
        //2. 执行
        if(i % 500 == 0) {
          ps.executeBatch();
        }
        //3. 清空batch
        ps.clearBatch();
      }
      long end = System.currentTimeMillis();
      System.out.println("花费时间为:"+(end-start)); //花费时间为:3060
    } catch (Exception e) {
      e.printStackTrace();
    } finally {
      JDBCUtils.closeResourse(conn, ps);
    }
  }
}


改进二:不允许自动提交数据,等数据积攒到一定量了之后一次提交


package demo04;
import java.sql.Connection;
import java.sql.PreparedStatement;
import org.junit.jupiter.api.Test;
import utils.JDBCUtils;
/**
 * 使用prepaerdStatement实现批量插入
 * @author pc
 *
 */
public class InsertTest {
  @Test
  public void testFinal(){
    Connection conn = null;
    PreparedStatement ps = null;
    try {
      long start = System.currentTimeMillis();
      conn = JDBCUtils.getConnection();   
      //设置不允许自动提交数据
      conn.setAutoCommit(false);
      String sql = "insert into admin (username)values(?)";
      ps = conn.prepareStatement(sql);
      for (int i = 0; i <= 20000; i++) {
        ps.setObject(1, "name_"+i);
        //1. “攒batch”
        ps.addBatch();
        //2. 执行
        if(i % 500 == 0) {
          ps.executeBatch();
        }
        //3. 清空batch
        ps.clearBatch();
      }
      //统一提交数据
      conn.commit();
      long end = System.currentTimeMillis();
      System.out.println("花费时间为:"+(end-start)); //花费时间为:898
    } catch (Exception e) {
      e.printStackTrace();
    } finally {
      JDBCUtils.closeResourse(conn, ps);
    }
  }
}


相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
2月前
|
Java 关系型数据库 MySQL
JDBC实现往MySQL插入百万级数据
JDBC实现往MySQL插入百万级数据
|
4天前
|
Java 数据库连接 数据库
JDBC之Statement与PreparedStatement操作数据库对比
JDBC之Statement与PreparedStatement操作数据库对比
9 0
|
6天前
|
SQL Java 关系型数据库
Java与数据库连接技术JDBC关键核心之PreparedStatement以及SQL注入演示解决和原理
Java与数据库连接技术JDBC关键核心之PreparedStatement以及SQL注入演示解决和原理
11 0
|
2月前
|
Java 数据库连接 数据库
实时计算 Flink版操作报错合集之flink jdbc写入数据时,长时间没写入后报错,是什么原因导致的
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
57 9
|
2月前
|
SQL Java 数据库连接
Java从入门到精通:2.3.1数据库编程——学习JDBC技术,掌握Java与数据库的交互
ava从入门到精通:2.3.1数据库编程——学习JDBC技术,掌握Java与数据库的交互
|
2月前
|
SQL 流计算 API
实时计算 Flink版产品使用合集之ClickHouse-JDBC 写入数据时,发现写入的目标表名称与 PreparedStatement 中 SQL 的表名不一致如何解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
33 0
|
2月前
|
SQL Java 数据库连接
Springboot框架整合Spring JDBC操作数据
JDBC是Java数据库连接API,用于执行SQL并访问多种关系数据库。它包括一系列Java类和接口,用于建立数据库连接、创建数据库操作对象、定义SQL语句、执行操作并处理结果集。直接使用JDBC涉及七个步骤,包括加载驱动、建立连接、创建对象、定义SQL、执行操作、处理结果和关闭资源。Spring Boot的`spring-boot-starter-jdbc`简化了这些步骤,提供了一个在Spring生态中更便捷使用JDBC的封装。集成Spring JDBC需要添加相关依赖,配置数据库连接信息,并通过JdbcTemplate进行数据库操作,如插入、更新、删除和查询。
|
2月前
|
SQL Java 关系型数据库
JDBC批量插入mysql数据
JDBC批量插入mysql数据
|
2月前
|
Java 关系型数据库 MySQL
【JDBC编程】基于MySql的Java应用程序中访问数据库与交互数据的技术
【JDBC编程】基于MySql的Java应用程序中访问数据库与交互数据的技术
|
2月前
|
关系型数据库 MySQL Java
MySQL的主从复制 && SpringBoot整合Sharding-JDBC解决读写分离
MySQL的主从复制 && SpringBoot整合Sharding-JDBC解决读写分离
50 0