操作BLOB类型的字段及高效的批量插入操作

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 操作BLOB类型的字段及高效的批量插入操作

一、操作BLOB类型的字段


MySQL中的BLOB类型字段


MySQL中,BLOB是一个二进制大型对象,是一个存储大量数据的容器,它能容纳不同大型的数据


插入BLOB类型的数据必须使用PreparedStatement,因为BLOB类型的数据无法使用字符串拼接写的


MySQL的四种BLOB类型:


1、TingyBlob。最大存放255B


2、Blob,最大存放65KB


3、MediumBlob,最大存放16MB


4、LongBlob,最大存放4GB


实际使用中根据需要存入的数据大小定义不同的BLOB类型


需要注意的是:如果存储的文件过大,数据库的性能会下降


如果在指定了相关的Blob类型以后,还报错:xxx too large,那么在mysql的安装目录下,找my.ini文件加上如下的配置参数:max_allowed_packet=16M,同时注意:修改了my.ini文件之后,需要重新启动MySQL服务


插入BLOB类型数据


//获取连接
Connection conn = JDBCUtils.getConnection();
String sql = "insert into customers(name,email,birth,photo)values(?,?,?,?)";
PreparedStatement ps = conn.prepareStatement(sql);
//填充占位符
ps.setString(1, "韩立人");
ps.setString(2, "hlr@126.com");
ps.setDate(3, new Date(new java.util.Date().getTime()));
//操作Blob类型的变量
FileInputStream fis = new FileInputStream("xhq.png");
ps.setBlob(4, fis);
//执行
ps.execute();
fis.close();
JDBCUtils.closeResource(conn, ps)


查询BOLB类型数据


String sql = "SELECT id, name, email, birth, photo FROM customer WHERE id = ?";
conn = getConnection();
ps = conn.prepareStatement(sql);
ps.setInt(1, 8);
rs = ps.executeQuery();
if(rs.next()){
    Integer id = rs.getInt(1);
    String name = rs.getString(2);
    String email = rs.getString(3);
    Date birth = rs.getDate(4);
    Customer cust = new Customer(id, name, email, birth);
    System.out.println(cust);
    //读取Blob类型的字段
    Blob photo = rs.getBlob(5);
    InputStream is = photo.getBinaryStream();//从查询出来的Blob对象中获取二进制流
    OutputStream os = new FileOutputStream("c.jpg");
    byte [] buffer = new byte[1024];
    int len = 0;
    while((len = is.read(buffer)) != -1){
    os.write(buffer, 0, len);
}
JDBCUtils.closeResource(conn, ps, rs);
if(is != null){
    is.close();
}
if(os != null){
    os.close();
}


二、批量插入


批量执行SQL语句


当需要成批插入或者更新记录时,可以采用java的批量更新机制,这一机制允许多条语句一次性提交给数据库批量处理。通常情况下比单独提交处理更有效率


JDBC的批量处理语句包括下面三个方法


1、addBatch(String):添加需要批量处理的SQL语句或是参数


2、executeBatch():执行批量处理语句


3、clearBatch():清空缓存的数据


两种批量执行SQL语句的情况:


多条SQL语句的批量处理


一个SQL语句的批量传参


高效的批量插入:


方式一:使用Statement


Connection conn = JDBCUtils.getConnection();
Statement st = conn.createStatement();
for(int i = 1;i <= 20000;i++){
    String sql = "insert into goods(name) values('name_' + "+ i +")";
    st.executeUpdate(sql);
}


方式二:使用PreparedStatement(比Statement高效)


long start = System.currentTimeMillis();
Connection conn = JDBCUtils.getConnection();
String sql = "insert into goods(name)values(?)";
PreparedStatement ps = conn.prepareStatement(sql);
for(int i = 1;i <= 20000;i++){
    ps.setString(1, "name_" + i);
    ps.executeUpdate();
}
long end = System.currentTimeMillis();
System.out.println("花费的时间为:" + (end - start));//82340
JDBCUtils.closeResource(conn, ps);


方式三:使用批量处理语句对方式二优化


public void testInsert1() throws Exception{
        long start = System.currentTimeMillis();
        Connection conn = JDBCUtils.getConnection();
        String sql = "insert into goods(name)values(?)";
        PreparedStatement ps = conn.prepareStatement(sql);
        for(int i = 1;i <= 1000000;i++){
            ps.setString(1, "name_" + i);
            //1.“攒”sql
            ps.addBatch();
            if(i % 500 == 0){
                //2.执行
                ps.executeBatch();
                //3.清空
                ps.clearBatch();
            }
        }
        long end = System.currentTimeMillis();
        System.out.println("花费的时间为:" + (end - start));//20000条:625
        //1000000条:14733
        JDBCUtils.closeResource(conn, ps);
}


方式四:使用Connection的setAutoCommit()方法对方式三优化


public void testInsert2() throws Exception{
    long start = System.currentTimeMillis();
    Connection conn = JDBCUtils.getConnection();
    //1.设置为不自动提交数据
    conn.setAutoCommit(false);
    String sql = "insert into goods(name)values(?)";
    PreparedStatement ps = conn.prepareStatement(sql);
    for(int i = 1;i <= 1000000;i++){
        ps.setString(1, "name_" + i);
        //1.“攒”sql
        ps.addBatch();
        if(i % 500 == 0){
            //2.执行
            ps.executeBatch();
            //3.清空
            ps.clearBatch();
        }
    }
    //2.手动提交数据
    conn.commit();
    long end = System.currentTimeMillis();
    System.out.println("花费的时间为:" + (end - start));//1000000条:4978
    JDBCUtils.closeResource(conn, ps);
}
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
3月前
|
SQL 关系型数据库 MySQL
MySQL根据某个字段包含某个字符串或者字段的长度情况更新另一个字段的值,如何写sql
MySQL根据某个字段包含某个字符串或者字段的长度情况更新另一个字段的值,如何写sql
212 0
|
7月前
|
SQL 数据库
SQL标识列实现自动编号的步骤和技巧以及优势
SQL标识列实现自动编号的步骤和技巧以及优势
150 0
|
SQL
一条集多表查询、字段与字段拼接、合并每张表共同字段、新增列并赋值的SQL
一条集多表查询、字段与字段拼接、合并每张表共同字段、新增列并赋值的SQL
71 0
|
存储 关系型数据库 MySQL
Mysql数据库操作篇1(数据类型,库&表修改操作)
Mysql数据库操作篇1(数据类型,库&表修改操作)
143 0
|
SQL Oracle 关系型数据库
【SQL开发实战技巧】系列(八):聊聊如何插入数据时比约束更灵活的限制数据插入以及怎么一个insert语句同时插入多张表
插入数据、阻止对某几列插入的实现、复制表的定义和数据以及注意事项、比创建约束功能更强大!用 WITH CHECK OPTION限制数据录入、如何一个insert将数据同时插入多个表【SQL开发实战技巧】这一系列博主当作复习旧知识来进行写作,毕竟SQL开发在数据分析场景非常重要且基础,面试也会经常问SQL开发和调优经验,相信当我写完这一系列文章,也能再有所收获,未来面对SQL面试也能游刃有余~。但是!ORA - 01723 : 不允许长度为 0 的列。
【SQL开发实战技巧】系列(八):聊聊如何插入数据时比约束更灵活的限制数据插入以及怎么一个insert语句同时插入多张表
|
存储 SQL Oracle
数据库中存媒体文件的字段用什么类型?一文带你了解二进制大对象BLOB
在大数据环境中,BLOB 很常见,并且存储在关系或非关系数据库系统中,描述的是一个二进制形式的大文件,一般可以是视频、音频或图像和图形文件。
462 0
数据库中存媒体文件的字段用什么类型?一文带你了解二进制大对象BLOB
|
存储 算法 物联网
SQLite 日志操作和提升查询效率的索引操作 | 学习笔记
快速学习 SQLite 日志操作和提升查询效率的索引操作
|
SQL Java 关系型数据库
mybatis查询字段类型为数组的字段时,值为空,数据库查询可以查询出来
mybatis查询字段类型为数组的字段时,值为空,数据库查询可以查询出来
|
SQL Oracle 关系型数据库
Mybatis批量插入Oracle数据库数(包含BLOB类型)
批量插入,在Oracle中与MySQL有一定差异,尤其遇到CLOB\BLOB时,批量插入的sql语句有个很大差异,但是不包含时,基本一样,所以需要记录一下。
|
SQL 数据库
tp读取sqlserver数据库一个表的时候一个字段类型是text,数据有空格读取出的数据有乱码解决方案...
$sql="SELECT *, REPLACE(CONVERT(varchar(500), GoodsInfo), CHAR(32), ' ') AS GoodsInfo FROM tDelivery WHERE (DeliveryID = '$DeliveryID')"; GoodsInfo这字段是text类型的,不支持REPLACE函数,所以先用CONVERT把这个字段强行转化成varchar500,然后再用REPLACE 把字段里面的空格 CHAR(32)替换成空就ok了!
319 0