对比 MyBatis 和 MyBatis-Plus 批量插入、批量更新的性能和区别

对比,mybatis,plus,批量,插入,更新,性能,区别 · 浏览次数 : 315

小编点评

**环境准备demo地址:** learn-mybatis · Sean/spring-cloud-alibaba - 码云(gitee.com)1.1 搭建 MyBatis-Plus 环境创建 maven springboot 工程导入依赖:web 启动器、jdbc、java 连接 mysql、Lombok、MyBatis **4.1 批量插入 vs 批量更新性能分析** | 特征 | 批量插入 | 批量更新 | |---|---|---| | 写法 | SQL 语句拼接 | SQL 语句拼接 | | 批处理优化 | 否 | 否 | | 大数据量 | 低 | 高 | | 性能 | 高 | 低 | **4.2 批量插入原理** 1. 使用 `for` 循环遍历每条数据。 2. 在每个数据元素上调用 `sqlSession.insert()` 方法执行插入操作。 3. 刷新 statement 提交批处理语句,批量执行多个插入操作。 **4.3 批量更新原理** 1. 使用 `for` 循环遍历每条数据。 2. 在每个数据元素上使用 `sqlSession.update()` 方法执行更新操作。 3. 提交批处理操作,执行多个更新操作。 **4.4 优缺点分析** **批量插入** * 优点:性能更高 * 缺点: SQL 语句拼接可能导致 SQL 语句大小限制问题,特别是对于大数据量时。 **批量更新** * 优点:性能更高 * 缺点:单条插入语句执行,性能较低。 **4.5 推荐** * 在开启批量处理优化之前,建议使用 MyBatis。 * 在开启批量处理优化之后,建议使用 MyBatis-Plus。

正文

1 环境准备

demo 地址:learn-mybatis · Sean/spring-cloud-alibaba - 码云(gitee.com)

1.1 搭建 MyBatis-Plus 环境

  1. 创建 maven springboot 工程
  2. 导入依赖:web 启动器、jdbc、、java 连接 mysql、Lombok、druid 连接池启动器、mybatis-plus 启动器
  3. 编写 yaml 配置文件,配置 druid 数据源、mybatis-plus

注意要点:

  1. mapper 接口继承 BaseMapper<实体类>
  2. service 接口继承 IService<实体类>
  3. service 接口实现类继承 ServiceImpl<mapper 接口, 实体类> 实现 service 接口

1.2 批量插入测试接口

  1. MyBatis 批量插入接口
     @GetMapping("/mybatis-batch-insert")
     public String mybatisBatchInsert(){
       // 开始时间
       long stime = System.currentTimeMillis();    
       // 批量插入
       orderService.mySaveBatch(list);
       // 结束时间
       long etime = System.currentTimeMillis();
       return "mybatis 批量插入 1w 条数据的时间: " + (etime - stime) / 1000.0 + "秒";
     }
    
    Mybatis 的批量插入是调用 mapper 的批量插入接口,使用 标签拼接 sql 进行插入
  2. Mybatis-Plus 批量插入接口
    @GetMapping("/mybatis-batch-insert")
    public String mybatisBatchInsert(){
        // 开始时间
        long stime = System.currentTimeMillis();
        // 批量插入
        orderService.mySaveBatch(list);
        // 结束时间
        long etime = System.currentTimeMillis();
        return "mybatis 批量插入 1w 条数据的时间: " + (etime - stime) / 1000.0 + "秒";
    }
    
    MyBatis-Plus 的批量插入是调用 mybatis-plus 的 IService 接口的 saveBatch 进行批量插入

1.3 批量更新测试接口

  1. MyBatis 批量更新接口

    @GetMapping("/mybatis-batch-update")
    public String mybatisBatchUpdate(){
        long stime = System.currentTimeMillis();
        orderService.myUpdateBatchById(updateList);
        long etime = System.currentTimeMillis();
        return "mybatis 批量更新 1w 条数据的时间: " + (etime - stime) / 1000.0 + "秒";
    }
    

    MyBatis 的批量插入是调用 mapper 的批量更新接口,使用 标签拼接 sql 进行更新,是将多个更新语句拼接在同一个 mapper 接口中,需要在数据库连接 url 添加 allowMultiQueries=true 开启多查询

  2. MyBatis-Plus 批量更新接口

    @GetMapping("/mybatis-plus-batch-update")
    public String mybatisPlusBatchUpdate(){
        long stime = System.currentTimeMillis();
        orderService.updateBatchById(updateList);
        long etime = System.currentTimeMillis();
        return "mybatis plus 批量更新 1w 条数据的时间: " + (etime - stime) / 1000.0 + "秒";
    }
    

    MyBatis -Plus 的批量更新是调用 mybatis-plus 的 IService 接口的 updateBatchById 进行批量更新

2. 性能对比

经过预热,尽量避免了缓存的影响。

2.1 批量插入性能对比

数据量:1w 条数据,每条数据 4 个字段

测试结果:

  • MyBatis:5 次运行平均耗时:0.3212 秒
  • MyBatis-Plus:5次运行平均耗时:1.35 秒
  • MyBatis-Plus(开启批处理):5次运行平均耗时:0.2424 秒

2.2 批量更新性能对比

数据量:1w 条数据,每条数据更新 4 个字段

测试结果:

  • MyBatis:5 次运行平均耗时:1.0378 秒
  • MyBatis-Plus:5次运行平均耗时:1.6448 秒
  • MyBatis-Plus(开启批处理):5次运行平均耗时:0.743 秒

3. 原理探究

3.1 批量插入

3.1.1 MyBatis

MyBatis 的批量插入 xml

<insert id="mySaveBatch">
    insert into order_table(id, product_id, total_amount, status) values
    <foreach collection="list" separator="," item="item">
        (#{item.id}, #{item.productId}, #{item.totalAmount}, #{item.status})
    </foreach>
</insert>

通过 标签,将插入的数据拼接成一条 SQL 语句,一次性进行插入操作,拼接完的 SQL 语句如下例子:

insert into order_table(id, product_id, total_amount, status) values(1, 2. 2.0, 1),(2, 2, 2.0, 1);

3.1.2 MyBatis-Plus

MyBatis-Plus 的批量插入本质采用 for 遍历每条数据依次插入,但使用了批处理优化,默认是每 1000 条数据,刷新一次 statement 提交到数据库,执行插入操作。

注意:批处理需要在数据库连接中添加 rewriteBatchedStatements=true 否则 jdbc 驱动在默认情况下会无视executeBatch() 语句

源码如下:

@Transactional(rollbackFor = Exception.class)   // 开启事务
@Override
public boolean saveBatch(Collection<T> entityList, int batchSize) {
    String sqlStatement = getSqlStatement(SqlMethod.INSERT_ONE);    // 获得插入 statement
    // 执行批处理操作
    // 参数是:待插入集合,批次大小(默认1000),函数式接口 accept
    return executeBatch(entityList, batchSize, (sqlSession, entity) ->  sqlSession.insert(sqlStatement, entity)); 
}
public static <E> boolean executeBatch(Class<?> entityClass, Log log, Collection<E> list, int batchSize, BiConsumer<SqlSession, E> consumer) {
    Assert.isFalse(batchSize < 1, "batchSize must not be less than one");
    return !CollectionUtils.isEmpty(list) && executeBatch(entityClass, log, sqlSession -> {
        int size = list.size();
        int idxLimit = Math.min(batchSize, size);
        int i = 1;
        // 遍历插入
        for (E element : list) {
            // 调用 sqlSession.insert(sqlStatement, entity)); 
            // 对元素执行插入操作,但此时数据库还没真正执行插入语句
            consumer.accept(sqlSession, element);   
            // 计数达到 1000 或者 集合结束
            if (i == idxLimit) {        
                 // 刷新 statement 提交批处理语句,数据库真正执行 SQL
                sqlSession.flushStatements();
                idxLimit = Math.min(idxLimit + batchSize, size);
            }
            i++;
        }
    });
}

3.2 批量更新

3.2.1 MyBatis

MyBatis 的批量更新 xml

<update id="myUpdateBatchById">
    <foreach collection="list" item="item" index="index" open="" close="" separator=";">
        update order_table
        <set>
            product_id = #{item.productId},
            total_amount = #{item.totalAmount},
            status = #{item.status}
        </set>
        where id = #{item.id}
    </foreach>
</update>

通过 标签,拼接成多条更新的 SQL 语句,一次性提交数据库执行。语句例子如下:

update order_table set product_id = 1, total_amount = 2, status = 1 where id = 1;
update order_table set product_id = 1, total_amount = 2, status = 1 where id = 2;

3.1.2 MyBatis-Plus

MyBatis-Plus 批量更新的原理基本和其批量插入的原理一致,都是调用 executeBatch 执行批处理操作。

4. 优缺点分析

4.1 批量插入

对于批量插入,MyBatis 拼接 SQL 的写法比 MyBatis-Plus 的批量插入方法有明显更高的性能。
但在开启批处理优化之后,MyBatis-Plus 的方法性能更高了。

MyBatis:

  • 优点:性能较高
  • 缺点:在处理大数据量(SQL 语句大于 64MB 时)会报错,MySQL 8.0.33 默认最大 SQL 大小为 64MB
    也要考虑内存异常等问题。

MyBatisPlus:

  • 优点:分组提交,适用于大数据量的处理
  • 缺点:单条插入语句执行,性能较低

总结:

  • 没开启批处理时:10w 数据量以下建议使用 MyBatis、10w 数据量以上建议使用 MyBatis-Plus
  • 开启批处理时:建议使用 MyBatis-Plus

4.2 批量更新

对于批量更新,MyBatis 拼接 SQL 的写法与 MyBatis-Plus 的批量更新方法无明显的性能差别.
大于大数据量,拼接写法甚至容易出现内存耗尽等问题,相比之下 MyBatis-Plus 的方法更优。

总结:建议使用 MyBatis-Plus

与对比 MyBatis 和 MyBatis-Plus 批量插入、批量更新的性能和区别相似的内容:

对比 MyBatis 和 MyBatis-Plus 批量插入、批量更新的性能和区别

对比 MyBatis 和 MyBatis-Plus 批量插入、批量更新的性能和区别

mybaits-plus实现自定义字典转换

需求:字典实现类似mybatis-plus中@EnumValue的功能,假设枚举类中应用使用code,数据库存储对应的value 思路:Mybatis支持对Executor、StatementHandler、PameterHandler和ResultSetHandler进行拦截,也就是说会对这4种对

从Mybatis-Plus开始认识SerializedLambda

从Mybatis-Plus开始认识SerializedLambda 背景 对于使用过Mybatis-Plus的Java开发者来说,肯定对以下代码不陌生: @TableName("t_user") @Data public class User { private String id; private

mybatis-plus id在高并发下出现重复

mybaits-plus ASSIGN_ID生成 id生成策略 在分布式高并发环境下出现重复id https://github.com/baomidou/mybatis-plus/issues/3077 mybatis-plus 对@TableId(type = IdType.ASSIGN_ID)生

基于SpringBoot实现操作GaussDB(DWS)的项目实战

摘要:本文就使用springboot结合mybatis plus在项目中实现对GaussDB(DWS)的增删改查操作。 本文分享自华为云社区《基于SpringBoot实现操作GaussDB(DWS)的项目实战【玩转PB级数仓GaussDB(DWS)】》,作者:清雨小竹。 GaussDB(DWS) 数

mybatisplus 中查询的实体对应的表名是动态的解决方案

开发中遇到需要查询一些表里的数据,这些数据按照一定的规则存放在不同的数据库表里,例如表名是table_name+月份 table_name_2024_05,table_name_2024_04这样,这些表的结构都相同。 网上找了一些动态修改实体对应数据库表名的方法,操作相对复杂而且跟mybatisp

把Mybatis Generator生成的代码加上想要的注释

作者:王建乐 1 前言 在日常开发工作中,我们经常用Mybatis Generator根据表结构生成对应的实体类和Mapper文件。但是Mybatis Generator默认生成的代码中,注释并不是我们想要的,所以一般在Generator配置文件中,会设置不自动生成注释。带来的问题就是自动生成代码之

面试必会 --> MyBatis篇

什么是MyBatis Mybatis是一个半ORM(对象关系映射)框架,它内部封装了JDBC,开发时只需要关注SQL语句本身,不需要花费精力去处理加载驱动、创建连接、创建statement等繁杂的过程。程序员直接编写原生态sql,可以严格控制sql执行性能,灵活度高。 MyBatis 可以使用 XM

Spring6 对 集成MyBatis 开发运用(附有详细的操作步骤)

1. Spring6 对 集成MyBatis 开发运用(附有详细的操作步骤) @目录1. Spring6 对 集成MyBatis 开发运用(附有详细的操作步骤)每博一文案2. 大概的实现步骤概述3. 详细实现操作步骤4. Spring配置文件的 import,导入外部xml 配置5. 总结:6. 最

实战指南,SpringBoot + Mybatis 如何对接多数据源

本文分享自华为云社区 《实战指南,SpringBoot + Mybatis 如何对接多数据源》,作者:战斧。 在我们开发一些具有综合功能的项目时,往往会碰到一种情况,需要同时连接多个数据库,这个时候就需要用到多数据源的设计。而Spring与Myabtis其实做了多数据源的适配,只需少许改动即可对接多