Mybatis插入大量数据效率对比:foreach、SqlSession批量、sql,大数据开发开发快速上手

44 阅读1分钟
  1. 使用 SqlSessionFactory,每一批数据执行一次提交

  2. 使用mybatis-plus框架的insert方法,for循环,每次执行一次插入

  3. 使用ibatis,纯sql插入

新增xml执行效率测试:xml执行时间比sql稍慢一些,50000条数据插入时间约为2000毫秒左右,平均时间是sql的2倍左右。

先贴出执行效果(数字代表执行的时间,单位毫秒):

Mybatis插入大量数据效率对比:foreach、SqlSession批量、sql

测试代码:

//测试类

@RunWith(SpringRunner.class)

@SpringBootTest(classes = DemoApplication.class)

public class Test1 {

@Autowired

UsersMapper usersMapper;

@Autowired

SqlSessionFactory sqlSessionFactory;

public List list = new ArrayList<>();

@Before

public void getList() {

long start = System.currentTimeMillis();

Users user;

for (int i = 1; i <=50000 ; i++) {

user = new Users();

user.setId(i);

user.setName("java");

user.setAge(200);

user.setManagerId(222);

list.add(user);

}

System.out.println("拼装数据 耗时:"+(System.currentTimeMillis()-start));

System.out.println(list.size());

}

@Test

public void batchInsert() {

SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH,false);

UsersMapper mapper = sqlSession.getMapper(UsersMapper.class);

System.out.println("batchInsert 插入开始========");

long start = System.currentTimeMillis();

for (int i = 0; i < list.size(); i++) {

mapper.insert(list.get(i));

if (i%5000==4999) {

sqlSession.flushStatements();

// sqlSession.commit();

// sqlSession.clearCache();

}

}

// sqlSession.commit();

// sqlSession.clearCache();

sqlSession.flushStatements();

System.out.println("SqlSession 批量插入耗时:"+(System.currentTimeMillis()-start));

}

@Test

public void forEachInsert() {

System.out.println("forEachInsert 插入开始========");

long start = System.currentTimeMillis();

for (int i = 0; i < list.size(); i++) {

usersMapper.insert(list.get(i));

}

System.out.println("foreach 插入耗时:"+(System.currentTimeMillis()-start));

}

@Test

public void sqlInsert() {

System.out.println("sql 插入开始========");

long start = System.currentTimeMillis();

usersMapper.sqlInsert(list);

System.out.println("sql 插入耗时:"+(System.currentTimeMillis()-start));

}

//xml批量插入

@Test

public void xmlInsert() {

System.out.println("xmlInsert 批量插入开始========");

long start = System.currentTimeMillis();

usersMapper.xmlBatchInsert(list);

System.out.println("xmlInsert 批量插入耗时:"+(System.currentTimeMillis()-start));

}

}

//sql插入相关类

@Repository

public interface UsersMapper extends BaseMapper {

@InsertProvider(type = UsersProvider.class, method = "insertListSql")

public void sqlInsert(List list);

public void xmlBatchInsert(@Param("list") List list);

}

public class UsersProvider {

img img

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!