JDBC学习(八):PreparedStatement实现数据的批量插入

本文涉及的产品
RDSClaw,2核4GB
RDS AI 助手,专业版
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
简介: JDBC学习(八):PreparedStatement实现数据的批量插入

方法一:耗时最长(我的电脑比较老,插两万条大概耗时一分多钟)


package demo04;
import java.sql.Connection;
import java.sql.PreparedStatement;
import org.junit.jupiter.api.Test;
import utils.JDBCUtils;
/**
 * 使用prepaerdStatement实现批量插入
 * @author pc
 *
 */
public class InsertTest {
  @Test
  public void test(){
    Connection conn = null;
    PreparedStatement ps = null;
    try {
      long start = System.currentTimeMillis();
      conn = JDBCUtils.getConnection();
      String sql = "insert into admin (username)values(?)";
      ps = conn.prepareStatement(sql);
      for (int i = 0; i <= 20000; i++) {
        ps.setObject(1, "name_"+i);
        ps.execute();
      }
      long end = System.currentTimeMillis();
      System.out.println("花费时间为:"+(end-start)); //花费时间为:908010
    } catch (Exception e) {
      e.printStackTrace();
    } finally {
      JDBCUtils.closeResourse(conn, ps);
    }
  }
}


改进一:设置参数让mysql开启对批处理的支持(耗时3s多,效率明显提升)


package demo04;
import java.sql.Connection;
import java.sql.PreparedStatement;
import org.junit.jupiter.api.Test;
import utils.JDBCUtils;
/**
 * 使用prepaerdStatement实现批量插入
 * @author pc
 *
 */
public class InsertTest { 
  /**
   * mysql服务器默认是关闭批处理的,我们需要通过一个参数,让mysql开启批处理的支持。
   *     ?rewriteBatchedStatements=true 写在配置文件的url后面
   *    使用更新的mysql 驱动:mysql-connector-java-5.1.37-bin.jar
   */
  @Test
  public void test2(){
    Connection conn = null;
    PreparedStatement ps = null;
    try {
      long start = System.currentTimeMillis();
      conn = JDBCUtils.getConnection();
      String sql = "insert into admin (username)values(?)";
      ps = conn.prepareStatement(sql);
      for (int i = 0; i <= 20000; i++) {
        ps.setObject(1, "name_"+i);
        //1. “攒batch”
        ps.addBatch();
        //2. 执行
        if(i % 500 == 0) {
          ps.executeBatch();
        }
        //3. 清空batch
        ps.clearBatch();
      }
      long end = System.currentTimeMillis();
      System.out.println("花费时间为:"+(end-start)); //花费时间为:3060
    } catch (Exception e) {
      e.printStackTrace();
    } finally {
      JDBCUtils.closeResourse(conn, ps);
    }
  }
}


改进二:不允许自动提交数据,等数据积攒到一定量了之后一次提交


package demo04;
import java.sql.Connection;
import java.sql.PreparedStatement;
import org.junit.jupiter.api.Test;
import utils.JDBCUtils;
/**
 * 使用prepaerdStatement实现批量插入
 * @author pc
 *
 */
public class InsertTest {
  @Test
  public void testFinal(){
    Connection conn = null;
    PreparedStatement ps = null;
    try {
      long start = System.currentTimeMillis();
      conn = JDBCUtils.getConnection();   
      //设置不允许自动提交数据
      conn.setAutoCommit(false);
      String sql = "insert into admin (username)values(?)";
      ps = conn.prepareStatement(sql);
      for (int i = 0; i <= 20000; i++) {
        ps.setObject(1, "name_"+i);
        //1. “攒batch”
        ps.addBatch();
        //2. 执行
        if(i % 500 == 0) {
          ps.executeBatch();
        }
        //3. 清空batch
        ps.clearBatch();
      }
      //统一提交数据
      conn.commit();
      long end = System.currentTimeMillis();
      System.out.println("花费时间为:"+(end-start)); //花费时间为:898
    } catch (Exception e) {
      e.printStackTrace();
    } finally {
      JDBCUtils.closeResourse(conn, ps);
    }
  }
}


相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
相关文章
|
Java 数据库连接 数据库
【YashanDB知识库】jdbc查询st_geometry类型的数据时抛出YAS-00101 cannot allocate 0 bytes for anlHeapMalloc异常
【YashanDB知识库】jdbc查询st_geometry类型的数据时抛出YAS-00101 cannot allocate 0 bytes for anlHeapMalloc异常
|
Java 数据库连接 定位技术
【YashanDB知识库】如何使用jdbc向YashanDB批量插入gis数据
本文以GIS表为例,介绍通过Java代码向数据库插入POINT类型地理数据的方法。首先创建包含ID和POS字段的GIS表,POS字段为ST_GEOMETRY类型。接着利用Java的PreparedStatement批量插入10条经纬度相同的POINT数据,最后查询结果显示成功插入10条记录,验证了操作的正确性。
226 19
|
Java 数据库连接 定位技术
【YashanDB知识库】如何使用jdbc向YashanDB批量插入gis数据
【YashanDB知识库】如何使用jdbc向YashanDB批量插入gis数据
|
Java 数据库连接 数据库
【YashanDB 知识库】jdbc 查询 st_geometry 类型的数据时抛出 YAS-00101 cannot allocate 0 bytes for anlHeapMalloc 异常
**简介:** 客户在使用 YashanDB JDBC 驱动查询含 st_geometry 列的数据时,遇到 YAS-00101 错误,提示无法分配内存。该问题影响所有版本的 YashanDB,导致业务中断。原因是用户缺少对 st_geometry 类型的 execute 权限。解决方法是为用户赋权:`grant execute any type to &lt;username&gt;;` 以恢复正常运行。
|
Java 数据库连接 定位技术
【YashanDB知识库】如何使用jdbc向YashanDB批量插入gis数据
【YashanDB知识库】如何使用jdbc向YashanDB批量插入gis数据
|
SQL Java 数据库连接
【YashanDB数据库】由于网络带宽不足导致的jdbc向yashandb插入数据慢
由于网络带宽不足导致的jdbc向yashandb插入数据慢
|
Java 数据库连接 数据库
【YashanDB 知识库】jdbc 查询 st_geometry 类型的数据时抛出 YAS-00101 cannot allocate 0 bytes for anlHeapMalloc 异常
**问题简介:** 客户使用 YashanDB JDBC 驱动查询含 st_geometry 列的数据时,出现 YAS-00101 错误,提示无法分配 0 字节内存。该问题影响所有 YashanDB 版本,导致业务中断。原因是数据库用户缺少 st_geometry 类型的 execute 权限。解决方法是为用户赋权:`grant execute any type to &lt;username&gt;;`。
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
402 0
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
252 0
|
Java 关系型数据库 MySQL
mysql5.7 jdbc驱动
遵循上述步骤,即可在Java项目中高效地集成MySQL 5.7 JDBC驱动,实现数据库的访问与管理。
2993 1
下一篇
开通oss服务