开发者社区> 小目标青年> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Springboot 手动分页查询,分批批量插入数据

简介: Springboot 手动分页查询,分批批量插入数据
+关注继续查看

前言



业务场景是什么?


就是数据库的一批数据,量不少,需要执行同步插入到别的地方。

简单点肯定是一次性查出来,然后循环一个个插入,完事。

考虑点:​

① 数据量大,一次性查出来操作,很爆炸。

② 循环里面一次一次地去插入,如果非业务场景必要,基本是不会在循环里面使用sql操作的。

所以该篇作为抛砖引玉(还有很多需要考虑的点),给出一种解决上面场景的代码编写方案, 手动分页,查询后批量插入。

正文



实现的流程简图:


image.png


看看最终实现的效果,通过代码日志记录了这个实现后的效果 :


image.png


开始实战:


代码大体就这样:


image.png 

代码:


        //获取数据总计数
        UserQueryCondition userQueryCondition=new UserQueryCondition();
        Integer totalCount = userService.getAllUserCount(userQueryCondition);
        //每批同步的数据条数
        Integer batchSizeLimit = 500;
        //分批切割处理
        List<PageLimitDTO> pageLimitGroupList = getPageLimitGroupList(totalCount, batchSizeLimit);
        int count=1;
        //物理批次查询
        for (PageLimitDTO pageBatchLimit:pageLimitGroupList){
            List<User> pageBatchList = userService.getPageList(
                    userQueryCondition, pageBatchLimit.getCurrIndex(), pageBatchLimit.getPageSize()
            );
            if (!CollectionUtils.isEmpty(pageBatchList)){
                //批量插入
                Boolean syncAddResult = userSyncService.batchSyncAdd(pageBatchList);
                //做其余业务
                if (syncAddResult){
                    log.info("第{}次,user数据批量插入成功",count);
                }
            }
            log.info("第{}批次,user数据同步批量插入业务结束执行",count);
            count=count+1;
        }


切割函数getPageLimitGroupList:


    public List<PageLimitDTO> getPageLimitGroupList(Integer totalCount, Integer batchSizeLimit ) {
        log.info("这一次处理的总数据条数为 ={} 条, 每一批次处理条数为 ={} 条,现在开始做分批切割处理。",totalCount,batchSizeLimit);
        int pageNum = totalCount / batchSizeLimit;
        int surplus = totalCount % batchSizeLimit;
        if (surplus > 0) {
            pageNum = pageNum + 1;
        }
        List<PageLimitDTO> pageLimitGroupList =new LinkedList<>();
        for(int i = 0; i < pageNum; i++){
            Integer currIndex = i * batchSizeLimit;
            PageLimitDTO pageLimitDTO=new PageLimitDTO();
            pageLimitDTO.setPageSize(batchSizeLimit);
            pageLimitDTO.setCurrIndex(currIndex);
            pageLimitDTO.setDealDataCount(currIndex+batchSizeLimit);
            pageLimitGroupList.add(pageLimitDTO);
            log.info("分批切割,第={}次,每次={}条,最终会处理到={}条。",pageLimitGroupList.size(),batchSizeLimit,currIndex+batchSizeLimit);
 
        }
        log.info("这一次处理的总数据条数为 ={} 条, 每一批次处理条数为 ={} 条,总共切割分成了 ={} 次,一切准备就绪,可以开始批量插入。",totalCount,batchSizeLimit,pageLimitGroupList.size());
        return pageLimitGroupList;
    }


物理分页查询的mybatis sql写法示例(核心手动切割分页查询红色部分):


image.png


代码:


    <select id="getPageList" resultMap="BaseResultMap">
        SELECT *
        FROM user
        <where>
            <if test="merchantId != null and merchantId != 0">
                and MERCHANT_ID = #{merchantId}
            </if>
            <if test="nameList != null and !nameList.isEmpty()">
                and NAME in
                <foreach collection="nameList" separator="," open="(" close=")" item="name">
                    #{name}
                </foreach>
            </if>
        </where>
        LIMIT #{currIndex} , #{pageSize}
 
    </select>


批量插入示例:


    <!--批量插入信息-->
    <insert id="batchSyncAdd" parameterType="java.util.List">
        insert into user(
        id,
        name,
        age
        )
        values
        <foreach collection="list" item="item" index="index" separator=",">
            (
            #{item.id,jdbcType=BIGINT},
            #{item.name,jdbcType=VARCHAR},
            #{item.age,jdbcType=INTEGER}
            )
        </foreach>
    </insert>


然后就是我们美如画的,手动批次切割查询插入:


image.png


当前方案作为抛砖引玉,还有比较多可优化的点,但是我不做扩展了,简单列举一下:

1. 每次切割分页查询,其实可以优化。 例如取上一次的id作为下一次的起始条件。

2. 同步异步的封装,可以更动态化。

3. 是否完全需要分批? 动态设置数据超过多少才开始分批切割,不超过,不需要走切割这些流程代码。

等等

好吧,该篇就到这吧(如果对你有帮助,给我点赞收藏一下。)。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
基于SpringBoot将Json数据导入到数据库
基于SpringBoot将Json数据导入到数据库
20 0
彻底搞懂时序数据库InfluxDB,在SpringBoot整合InfluxDB
之前介绍了运维监控系统Prometheus,然后就有同鞋问我关于时序数据库的情况,所以这里总结一下时序数据库,并以InfluxDB为例,介绍时序数据库的功能特性和使用方式,希望能对大家有所帮助。
160 0
Spring Boot 2.x基础教程:使用时序数据库InfluxDB
Spring Boot 2.x基础教程:使用时序数据库InfluxDB
223 0
SpringBoot 2.0 图片上传(支持批量上传)
SpringBoot 2.0提供了很多开箱即用的功能,这使得我们开发也更加的简单。 下面是一个图片上传的Demo(包含前端代码与后端的代码) Web端代码,支持批量上传 File upload upload var length; $("#file").
4463 0
python多进程批量读取图片以及对图片批量旋转等数据增强
深度学习里面最重要的是数据,而有时候数据很少,又或者样本不均衡等问题,这时候就需要对图像进行一系列的数据增强,旋转就是常用的数据增强方式.至于python如何对图像旋转,在之前的文章就有所介绍, python对图像旋转显示等 这里不详细细谈,一般直接想到的就是添加一个循环,按照循序读取图片,如果图.
3573 0
Spring Boot JDBC 连接数据库
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/catoop/article/details/50507516 文本将对在Spring Boot构建的Web应用中,基于MYSQL数据库的几种数据库连接方式进行介绍。
1267 0
+关注
小目标青年
分享不仅为了他人,也为了自己 。--JCccc
326
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载