Mybatis-Plus批量插入应该怎么用（下）

2023-01-12 359

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

云数据库 RDS MySQL Serverless，0.5-2RCU 50GB

云数据库 RDS MySQL Serverless，价值2615元额度，1个月

简介： Mybatis-Plus批量插入应该怎么用

再往下

这里就是真正执行的方法了，idxLimit会对比DEFAULT_BATCH_SIZE和集合长度两个数中的最小数，作为批量大小，也就是说当集合长度不够1000，那么执行的时候批量大小就是集合的长度，就执行一次。

for循环中的consumer：对应的类型是一个函数式接口，代表一个接受两个输入参数且不返回任何内容的操作符。意思是给定两个参数sqlSession、循环中当前element对象，执行一次传递过来的consumer匿名函数。也就是上边源码里的插入匿名函数。

当i == indLimit时：执行一次预插入，并重新计算idxLimit的值

if中idxLimit计算规则：当前idxLimit加batchSize(默认1000) 和集合长度取最小值，计算出来的结果肯定不会超过集合的长度，最后的批次时idxLimit等于集合的长度，将这个值作为下一次执行预插入的时间点。

sqlSession.flushStatements()：当有处于事务中的时候，起到一种预插入的作用，执行了这行代码之后,要插入的数据会锁定数据库的一行记录,并把数据库默认返回的主键赋值给插入的对象,这样就可以把该对象的主键赋值给其他需要的对象中去了，这里不是事务提交啊。

最后方法执行完后@Transactional注解会默认提交事务，如果调用的方法上还有@Transactional注解，默认的事务传播类型是Propagation.REQUIRED，不会新开启事务，如果没有@Transactional注解才会新开起事务

详细介绍请看Spring @Transactional事务管理

3. insert循环插入

把数据库中的数据清空，还原到空表状态

@Service
public class UsersServiceImpl extends ServiceImpl<UsersMapper, Users> implements UsersService {
    @Override
    public void insertList() {
        List<Users> list = new ArrayList<>();
        for (int i = 0; i < 5000; i++) {
            Users users = new Users();
            users.setUserName("yy" + i);
            users.setAge(18);
            users.setEmail("123@qq.com");
            users.setAddress("临汾" + i);
            users.setAccount("1" + i);
            users.setPassword("pw" + i);
            list.add(users);
        }
        long start = System.currentTimeMillis();
        for (int i = 0; i < list.size(); i++) {
            baseMapper.insert(list.get(i));
        }
        long end = System.currentTimeMillis();
        System.out.println("5000条数据插入，耗时：" + (end - start));
    }
}

5000条数据每条都是一个单独的事务。就是一条条插入，成功失败都不会互相影响

耗时：161.2秒

4. 自定义sql插入

UsersMapper.xml

<insert id="insertList">
        insert into users(user_name, age, email, address, account, password) values
        <foreach collection="list" item="it" separator=",">
            (#{it.userName}, #{it.age}, #{it.email}, #{it.address}, #{it.account}, #{it.password})
        </foreach>
    </insert>

UsersMapper

void insertList(@Param("list") List<Users> list);

@Service
public class UsersServiceImpl extends ServiceImpl<UsersMapper, Users> implements UsersService {
    @Override
    public void insertList() {
        List<Users> list = new ArrayList<>();
        for (int i = 0; i < 5000; i++) {
            Users users = new Users();
            users.setUserName("yy" + i);
            users.setAge(18);
            users.setEmail("123@qq.com");
            users.setAddress("临汾" + i);
            users.setAccount("1" + i);
            users.setPassword("pw" + i);
            list.add(users);
        }
        long start = System.currentTimeMillis();
        baseMapper.insertList(list);
        long end = System.currentTimeMillis();
        System.out.println("5000条数据插入，耗时：" + (end - start));
    }
}

这里是把要插入的数据拼接在一个insert语句后面执行

INSERT INTO users (user_name,age,email,address,account,password) 
VALUES (?,?,?,?,?,?) , (?,?,?,?,?,?) , (?,?,?,?,?,?).....

这种效率是最高的，但是这种需要我们在每个批量插入对应的xml中取写sql语句，有点不太符合现在提倡的免sql开发，下面介绍一下它的升级版

5. insertBatchSomeColumn

mybatis-plus提供了InsertBatchSomeColumn批量insert方法。通过SQL 自动注入器接口 ISqlInjector注入通用方法 SQL 语句然后继承 BaseMapper 添加自定义方法，全局配置 sqlInjector 注入 MP 会自动将类所有方法注入到 mybatis 容器中。我们需要通过这种方式注入下。

MySqlInjector.java

/**
 * 自定义Sql注入
 * @author:  yh
 * @date:  2022/8/30
 */
public class MySqlInjector extends DefaultSqlInjector {
    @Override
    public List<AbstractMethod> getMethodList(Class<?> mapperClass, TableInfo tableInfo) {
        List<AbstractMethod> methodList = super.getMethodList(mapperClass, tableInfo);
        //增加自定义方法，字段注解上不等于FieldFill.DEFAULT的字段才会插入
        methodList.add(new InsertBatchSomeColumn(i -> i.getFieldFill() != FieldFill.DEFAULT));
        return methodList;
    }
}

MybatisPlusConfig.java

@Configuration
public class MybatisPlusConfig {
    @Bean
    public MySqlInjector sqlInjector() {
        return new MySqlInjector();
    }
}

自定义MyBaseMapper

public interface MyBaseMapper <T> extends BaseMapper<T> {
    int insertBatchSomeColumn(List<T> entityList);
}

mapper继承的这里也改下

public interface UsersMapper extends MyBaseMapper<Users> {
}

插入的时候过滤字段，需要配置属性

@Data
public class Users extends Model<Users> {
    /**
     * id
     */
    @TableId(value = "id", type = IdType.AUTO)
    private Long id;
    // 插入的时候过滤这个字段，默认值就是FieldFill.DEFAULT
    @TableField(fill = FieldFill.DEFAULT)
    private LocalDateTime createTime;
    @TableField(fill = FieldFill.INSERT)
    private String userName;
    @TableField(fill = FieldFill.INSERT)
    private Integer age;
    @TableField(fill = FieldFill.INSERT)
    private String email;
    @TableField(fill = FieldFill.INSERT)
    private String address;
    @TableField(fill = FieldFill.INSERT)
    private String account;
    @TableField(fill = FieldFill.INSERT)
    private String password;
}

修改一下service调用

@Service
public class UsersServiceImpl extends ServiceImpl<UsersMapper, Users> implements UsersService {
    @Autowired
    private SqlSessionFactory sqlSessionFactory;
    @Override
    public void insertList() {
        List<Users> list = new ArrayList<>();
        for (int i = 0; i < 5000; i++) {
            Users users = new Users();
            users.setUserName("yy" + i);
            users.setAge(18);
            users.setEmail("123@qq.com");
            users.setAddress("临汾" + i);
            users.setAccount("1" + i);
            users.setPassword("pw" + i);
            list.add(users);
        }
        long start = System.currentTimeMillis();
        baseMapper.insertBatchSomeColumn(list);
        long end = System.currentTimeMillis();
        System.out.println("5000条数据插入，耗时：" + (end - start));
    }
}

运行结果：

createTime字段被过滤掉了

执行时间和上边自定义sql一样，在1秒内浮动，如果量太大几十万条建议多线程分批处理。Java 多线程分批同步数据

Mybatis-Plus批量插入应该怎么用（下）

3. insert循环插入

4. 自定义sql插入

5. insertBatchSomeColumn

热门文章

最新文章

相关课程

相关电子书