「这是我参与2022首次更文挑战的第29天,活动详情查看:2022首次更文挑战」
一、问题
在日常开发中难免会遇到对大批量的大批量数据的导出,比如几十万(几百万)条数据,而服务器的内存过小,全部查询出来,如果服务器内存过小,会导致内存溢出,程序卡死或者宕机,影响系统的稳定运行,和用户的使用体验,如果是面向消费者的应用,还会导致用户的不满,投诉增多,进而导致用户流失,给公司造成巨大的损失,所以我们要从程序上杜绝这种情况,下面的文章是我根据多种方案,实践总结出来的。
二、解决方案
mybatis的是我们(中=中国境内)使用最多的orm框架,当我们项目中也是用mybatis时可以考虑使用mybatis的流式查询,步骤大致如下:
dao层接口:
@Mapper
public interface CustomerDao {
List<BpmsCustomerManageFormalEntity> selectAll();
List<BpmsCustomerManageFormalEntity> selectFetchSize2();
}
xml文件:
<!--普通查询-->
<select id="selectAll" resultType="com.ratel.streaming.entity.BpmsCustomerManageFormalEntity">
SELECT * FROM bpms_customer_manage_formal
</select>
<!--流式查询-->
#这个是关键 其中fetchSize="-2147483648",Integer.MIN_VALUE=-2147483648
<select id="selectFetchSize2" resultType="bpmsCustomerManageFormalEntity" fetchSize="-2147483648">
SELECT * FROM bpms_customer_manage_formal
</select>
本次数据库准备的数据量是40万条左右
三、结果
使用java自带的java内存监控工具jvisualvm.exe查看内存使用: 由图可知:普通查询的峰值使用内存为1500M ,而流式查询大约为1000M左右,大大节省了内存!