解决MybatisPlus批量插入慢的问题

·  阅读 1166
解决MybatisPlus批量插入慢的问题

问题复现

最近在做一个同步其他数据源的用户和部门,批量插入采用MybatisPlus提供的saveBatch方法,但是在测试中,发现速度很慢

经过翻看源码翻到如下信息:

image.png

MybatisPlus在批量插入的时候也是循环一次一次插入的,每一次会判断这个变量i有没有达到阈值,如果达到阈值,就将这一批数据刷新到数据库

解决方案

在jdbcUrl后追加参数rewriteBatchedStatements=true,让多批次的变成同一批次提交,这样会大大减少时间

原理

详见文档:mysql官方文档

  • 文档截图

image.png

分类：
后端
标签：
后端
分类：
后端
标签：
后端
相关推荐
  • 知否技术
    7天前
    后端 Java
    学会了MybatisPlus，代码开发效率提高了10倍！
    我们知道 MyBatis 是一个基于 java 的持久层框架，它内部封装了 jdbc，极大提高了我们的开发效率。但是使用 Mybatis 开发也有很多痛点。
    • 5311
    • 4
    学会了MybatisPlus，代码开发效率提高了10倍！
  • cchilei
    5月前
    后端
    mybatis-plus 实现真实批量插入
    一.背景 二.解决办法 三.添加依赖 四.继承默认方法注入 五.在 MybatisPlusConfig 配置文件中注入 Bean 六.扩展自带 BaseMapper 在 mapper 包下新建 Eas
    • 1055
    • 评论
  • Java小咖秀
    1年前
    MyBatis
    MyBatis 三种批量插入方式的比较，我推荐第 3 个！
    先说结论：少量插入请使用反复插入单条数据，方便。数量较多请使用批处理方式。（可以考虑以有需求的插入数据量 20 条左右为界吧，在我的测试和数据库环境下耗时都是百毫秒级的，方便最重要）。无论何时都不用 xml 拼接 sql 的方式。 com.microsoft.sqlserver…
    • 2196
    • 评论
  • 工作事小摸鱼事大
    7月前
    后端
    解决GitHub访问慢的问题
    GitHub访问慢或者无法访问一般是由以下问题引起的： 本地网络无法访问，由于github的加速分发CDN域域名遭到DNS污染，无法正常访问，文章中提供了几种方法来解决DNS污染问题。
    • 5588
    • 4
    解决GitHub访问慢的问题
  • 秦怀杂货店
    4月前
    后端 数据库
    数据库批量插入这么讲究的么？
    最近新的项目写了不少各种 insertBatch 的代码，一直有人说，批量插入比循环插入效率高很多，那本文就来实验一下,到底是不是真的？ 测试环境： SpringBoot 2.5 Mysql 8 JD
    • 2245
    • 评论
  • 沉默王二
    3月前
    后端 GitHub
    再见收费的Navicat！操作所有数据库就靠它了！
    作为一名开发者，免不了要和数据库打交道，于是我们就需要一款顺手的数据库管理工具。很长一段时间里，Navicat 都是我的首选，但最近更换了一台新电脑，之前的绿色安装包找不到了。 于是就琢磨着，找一款免
    • 4.7w
    • 128
  • Java艺术
    1年前
    MyBatis
    受不了Mybatis-Plus代码生成器自动生成一堆类，所以我选择自定义模版引擎
    Mybatis-Plus，个人觉得用与不用差别并不大，不觉得它能帮我们提升多大的效率。 Mybatis自身也提供代码生成器，使用代码生成器快速生成一些通用且常用的Sql也能替代Mybatis-Plus的BaseMapper。只不过Mybatis-Plus它生成的Mapper和x…
    • 1472
    • 1
  • 程序员阿牛
    10月前
    架构 后端
    领导：谁再用定时任务实现关闭订单，立马滚蛋！
    在电商、支付等领域，往往会有这样的场景，用户下单后放弃支付了，那这笔订单会在指定的时间段后进行关闭操作，细心的你一定发现了像某宝、某东都有这样的逻辑，而且时间很准确，误差在1s内；那他们是怎么实现的呢
    • 4.7w
    • 146
    领导：谁再用定时任务实现关闭订单，立马滚蛋！
  • 甘长霖
    7月前
    Java 后端
    Spring JPA 批量插入与更新优化
    Spring JPA 中批量插入和更新是使用 SimpleJpaRepository#saveAll，saveAll 会循环调用 save 方法，save 方法会根据实体 id 查找记录，记录存在则更
    • 2397
    • 评论
  • 努力的IT小胖子
    5月前
    MyBatis 后端
    MybatisPlus通⽤ CRUD接口
    MybatisPlus通⽤ CRUD接口 Service通用CRUD接口 Save SaveOrUpdate Remove Update Get List Page Count Mapper通用CRU
    • 582
    • 评论
  • _Jenkin
    11月前
    MyBatis 后端
    基于mybatisplus 的SQL拦截器实现关联查询
    由于项目中经常会使用到一些简单地关联查询，但是mybatisplus还不支持关联查询，不过在看官方文档的时候发现了mybatisplus的SQL拦截器（其实也是mybatis的）就想着能不能在SQL执
    • 1731
    • 评论
  • DT辰白
    11月前
    MySQL
    Mybatis-Plus批量插入数据太慢，使用rewriteBatchedStatements属性优化，堪称神速！
    前言 最近小编手上一堆项目，实在特别忙，每天一堆批量操作，更新、导入、新增、删除，公司使用的Mybatis-Plus操作SQL，用过Mybatis-Plus的小伙伴一定知道他有很多API提供给我们使用
    • 4215
    • 8
    Mybatis-Plus批量插入数据太慢，使用rewriteBatchedStatements属性优化，堪称神速！
  • AI码师
    6月前
    Java MyBatis 后端
    SpringBoot整合MybatisPlus 实现多租户
    代码已经上传到码云：https://gitee.com/lezaiclub/springboot-hyper-integration.git,欢迎白嫖 引言 今天我们来聊聊多组户 其实多租户主要讲的是
    • 983
    • 1
    SpringBoot整合MybatisPlus 实现多租户
  • Java中文社群
    7月前
    后端 MyBatis Spring Boot
    MyBatis Plus 批量数据插入功能，yyds！
    近 Review 小伙伴代码的时候，发现了一个小小的问题，小伙伴竟然在 for 循环中进行了 insert （插入）数据库的操作，这就会导致...
    • 5134
    • 29
    MyBatis Plus 批量数据插入功能，yyds！
  • Java鱼仔
    8月前
    Java MyBatis 后端
    用了MybatisPlus后，我很久没有手写sql了
    最早写JDBC的时候，要手动配连接信息，要一条条手写sql语句。后来Mybatis出现了，不需要再手动配置连接信息，sql语句也和代码隔离开来，但是还免不了写Sql。
    • 6520
    • 16
  • MacroZheng
    2月前
    后端 Java Redis
    颜值爆表！Redis官方可视化工具来啦，功能真心强大！
    最近逛了一下Redis官方网站，发现Redis不仅推出了很多新特性，而且还发布了一款可视化工具。试用了一下感觉非常不错，最关键的是能支持RedisJSON之类的新特性，推荐给大家！
    • 5.4w
    • 46
    颜值爆表！Redis官方可视化工具来啦，功能真心强大！
  • yogurtzzz
    1年前
    后端
    mybatis plus 看这篇就够了，一发入魂
    mybatis-plus是一款Mybatis增强工具，用于简化开发，提高效率。下文使用缩写mp来简化表示mybatis-plus，本文主要介绍mp搭配SpringBoot的使用。 注：本文使用的mp版
    • 2.3w
    • 18
  • 江南一点雨
    2年前
    Spring Boot 后端
    公司倒闭 1 年了，而我当年的项目上了 GitHub 热榜
    公司倒闭 1 年多了，而我在公司倒闭时候做的开源项目，最近却上了 GitHub Trending，看着这个数据，真是不胜唏嘘。 2017 年 11 月份的时候，松哥所在的公司因为经营不善要关门了，关门的是深圳分公司，北京总部还在正常运转。 然后就是北京那边来人，和深圳的员工挨个…
    • 5.4w
    • 70
    公司倒闭 1 年了，而我当年的项目上了 GitHub 热榜
  • why技术
    4月前
    前端 后端 Java
    请问各位程序员，是我的思维方式有错误吗？
    前几天知乎给我推送了一个问题，我点进去一看，好家伙，竟然把我血压都看上来了是怎么回事。 我先把问题复述一遍，聊天记录比较长，但是看的过程中容易冲动，注意控制情绪： 最后，提问者还是
    • 5.1w
    • 250
    请问各位程序员，是我的思维方式有错误吗？
  • 废材姑娘
    1年前
    Java
    mybatis plus 自动更新数据库时间的小坑
    昨天测试又给我提了一个bug(我怎么觉得自己是个被bug驱动的渣渣程序员),说他更新了某条数据, 但是这调数据的修改时间没有变化. 我的第一反映是怎么可能,我在创建数据库表的时候明明设置了修改时间会自动更新呀? 但是人家就是测试这么个bug呀, 我也只能认怂, 修吧. 经过一番…
    • 1467
    • 评论
    • Java开发工程师 @ unicloud
    获得点赞 7
    文章被阅读 4,957
    下载稀土掘金APP
    一个帮助开发者成长的社区
    相关文章
    Spring的ApplicationEventPublisher推送事件体验
    3点赞
     · 
    0评论
    mybatis-plus 实现真实批量插入
    3点赞
     · 
    0评论
    vue终极性能优化方案，解决首页加载慢
    290点赞
     · 
    35评论
    给你的MyBatis-Plus装上批量插入的翅膀
    7点赞
     · 
    4评论
    SpringBoot整合minio文件服务器,附上Docker部署方式
    0点赞
     · 
    0评论
    收藏成功！
    已添加到「」， 点击更改