mybatis使用流式查询避免一次性查询数据量过大导致OOM(内存溢出)

806 阅读2分钟

「这是我参与2022首次更文挑战的第29天,活动详情查看:2022首次更文挑战

一、问题

在日常开发中难免会遇到对大批量的大批量数据的导出,比如几十万(几百万)条数据,而服务器的内存过小,全部查询出来,如果服务器内存过小,会导致内存溢出,程序卡死或者宕机,影响系统的稳定运行,和用户的使用体验,如果是面向消费者的应用,还会导致用户的不满,投诉增多,进而导致用户流失,给公司造成巨大的损失,所以我们要从程序上杜绝这种情况,下面的文章是我根据多种方案,实践总结出来的。

二、解决方案

mybatis的是我们(中=中国境内)使用最多的orm框架,当我们项目中也是用mybatis时可以考虑使用mybatis的流式查询,步骤大致如下:

dao层接口:

@Mapper
public interface CustomerDao {
 		List<BpmsCustomerManageFormalEntity> selectAll();
        List<BpmsCustomerManageFormalEntity> selectFetchSize2();
}

xml文件:

<!--普通查询-->
<select id="selectAll" resultType="com.ratel.streaming.entity.BpmsCustomerManageFormalEntity">
        SELECT * FROM bpms_customer_manage_formal
    </select>
    
    <!--流式查询-->
#这个是关键 其中fetchSize="-2147483648",Integer.MIN_VALUE=-2147483648
<select id="selectFetchSize2"  resultType="bpmsCustomerManageFormalEntity" fetchSize="-2147483648">
        SELECT * FROM bpms_customer_manage_formal
    </select>

本次数据库准备的数据量是40万条左右

三、结果

使用java自带的java内存监控工具jvisualvm.exe查看内存使用: 由图可知:普通查询的峰值使用内存为1500M ,而流式查询大约为1000M左右,大大节省了内存! 在这里插入图片描述

四、参考链接:

  1. Mysql中使用流式查询避免数据量过大导致OOM

  2. MySQL中流式查询使用

  3. MyBatis中使用流式查询避免数据量过大导致OOM

  4. Mybatis 3.4.0 Cursor的使用

  5. 正确使用MySQL JDBC setFetchSize()方法解决JDBC处理大结果集 java.lang.OutOfMemoryError: Java heap space

  6. MyBatis中使用流式查询避免数据量过大导致OOM

  7. 关于oracle与mysql官方jdbc的一些区别