springboot项目整合EasyExcel解决方案
1、背景
目前项目中采用的是POI 的方式实现导入导出。下面这段话是踩自EasyExcel官方文档。
Java解析、生成Excel比较有名的框架有Apache poi、jxl。但他们都存在一个严重的问题就是非常的耗内存，poi有一套SAX模式的API可以一定程度的解决一些内存溢出的问题，但POI还是有一些缺陷，比如07版Excel解压缩以及解压后存储都是在内存中完成的，内存消耗依然很大。 easyexcel重写了poi对07版Excel的解析，一个3M的excel用POI sax解析依然需要100M左右内存，改用easyexcel可以降低到几M，并且再大的excel也不会出现内存溢出；03版依赖POI的sax模式，在上层做了模型转换的封装，让使用者更加简单方便
2、整合EasyExcel
2.1 引入依赖
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>easyexcel</artifactId>
<version>3.1.1</version>
</dependency>
2.2 实现导入导出操作：
- 导入、导出对象实体类：
/**
* @author itender
* @date 2023/1/30 17:30
* @desc
*/
@Data
@Builder
@AllArgsConstructor
@NoArgsConstructor
// 类上加注解 @ExcelIgnoreUnannotated，过滤属性没有@ExcelProperty注解的字段
@ExcelIgnoreUnannotated
public class User {
/**
* user id.
*/
@ExcelProperty("ID")
private Long id;
/**
* 姓名.
*/
@ExcelProperty("姓名")
private String userName;
/**
* 性别.
*/
@ExcelProperty("性别")
private String gender;
/**
* 地址.
*/
@ExcelProperty("地址")
private String address;
/**
* 邮箱.
*/
@ExcelProperty("邮箱")
private String email;
/**
* 手机号码.
*/
@ExcelProperty("手机号码")
private Long phoneNumber;
/**
* 描述.
*/
@ExcelIgnore
@ExcelProperty("描述")
private String description;
}
- controller
@GetMapping("/export")
public void exportUserInfo(HttpServletResponse response) {
try {
response.reset();
response.setContentType("application/vnd.ms-excel");
response.setCharacterEncoding(StandardCharsets.UTF_8.name());
String fileName = "导出用户信息列表";
// 注意：这里要加上filename*=utf-8'zh_cn'否则可能会导致导出文件名乱码
response.setHeader("Content-disposition",
"attachment;filename*=utf-8'zh_cn'" + fileName + System.currentTimeMillis() + ".xlsx");
userService.exportUserInfo(response.getOutputStream());
} catch (IOException e) {
e.printStackTrace();
}
}
@PostMapping("/import")
public void importUserInfo(@RequestParam(value = "file") MultipartFile file) {
try {
userService.importUserInfo(file.getInputStream());
} catch (IOException e) {
e.printStackTrace();
}
}
- service
/**
* @author itender
* @date 2023/1/30 17:43
* @desc
*/
public interface UserService {
/**
* 导出文件
*
* @param outputStream
*/
void exportUserInfo(ServletOutputStream outputStream);
/**
* 导入文件
*
* @param inputStream
*/
void importUserInfo(InputStream inputStream);
}
- 导入导出业务逻辑代码
/**
* @author itender
* @date 2023/1/30 17:43
* @desc
*/
@Slf4j
@Service
public class UserServiceImpl implements UserService {
@Override
public void exportUserInfo(ServletOutputStream outputStream) {
// 第一种方式
ExcelWriter excelWriter = EasyExcelFactory.write(outputStream).build();
WriteSheet userSheet = EasyExcelFactory.writerSheet(0)
.head(User.class)
// 导出文件需不包含的列名
.excludeColumnFieldNames(Lists.newArrayList())
// 导出文件包含的列名
.includeColumnFieldNames(Lists.newArrayList())
.build();
excelWriter.write(this::getUserList, userSheet);
excelWriter.finish();
// 第二种方式
EasyExcelFactory.write(outputStream, User.class).sheet("userInfo").doWrite(this::getUserList);
}
private List<User> getUserList() {
return Collections.singletonList(User.builder()
.id(1L).userName("itender").gender("男").address("广东深圳").email("itender@163.com")
.phoneNumber(13156777777L).description("hello world")
.build());
}
@Override
public void importUserInfo(InputStream inputStream) {
// 第一种方式
ExcelDataListener excelDataListener = new ExcelDataListener();
ExcelReader excelReader = EasyExcelFactory.read(inputStream).build();
ReadSheet userSheet = EasyExcelFactory.readSheet(0)
.head(User.class)
.registerReadListener(excelDataListener)
.build();
excelReader.read(userSheet);
// 第二种方式
EasyExcelFactory.read(inputStream, User.class, new ReadListener<User>() {
/**
* 每隔5条存储数据库，实际使用中可以100条，然后清理list ，方便内存回收
*/
private static final int BATCH_COUNT = 100;
/**
* 缓存的数据
*/
private final List<User> cachedDataList = ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);
@Override
public void invoke(User user, AnalysisContext analysisContext) {
cachedDataList.add(user);
}
@Override
public void doAfterAllAnalysed(AnalysisContext analysisContext) {
cachedDataList.forEach(user -> log.info(user.toString()));
}
}).sheet().doRead();
// 拿到错误信息，返回前端
String errorMsg = excelDataListener.getErrorMsg();
}
}
- 导入文件监听器
/**
* @author itender
* @date 2023/1/31 12:21
* @desc
*/
@Slf4j
public class ExcelDataListener implements ReadListener<User> {
/**
* 每隔5条存储数据库，实际使用中可以100条，然后清理list ，方便内存回收
*/
private static final int BATCH_COUNT = 100;
/**
* 缓存的数据
*/
private static final List<User> CACHED_DATA_LIST = ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);
/**
* 错误信息
*/
@Getter
private String errorMsg;
/**
* 这个每一条数据解析都会来调用
*
* @param user
* @param analysisContext
*/
@Override
public void invoke(User user, AnalysisContext analysisContext) {
log.info("解析到一条数据:{}", JSONUtil.toJsonStr(user));
// TODO 校验导入数据是否合规
// 如果不合规
this.errorMsg = StrFormatter.format("导入数据第{}行校验不通过！", analysisContext.readRowHolder().getRowIndex());
CACHED_DATA_LIST.add(user);
// 达到BATCH_COUNT了，需要去存储一次数据库，防止数据几万条数据在内存，容易OOM
if (CACHED_DATA_LIST.size() >= BATCH_COUNT) {
// TODO 保存数据到MySQL
// 存储完成置空list
CACHED_DATA_LIST.clear();
}
}
/**
* 所有数据解析完成了 都会来调用
*
* @param analysisContext
*/
@Override
public void doAfterAllAnalysed(AnalysisContext analysisContext) {
// 这里也要保存数据，确保最后遗留的数据也存储到数据库
// TODO 保存数据到MySQL
log.info("所有数据解析完成！");
}
}
参考：
- 官方网站：easyexcel.opensource.alibaba.com/
- github地址：github.com/alibaba/eas…
- gitee地址：gitee.com/easyexcel/e…
3、问题
-
在很多场景下，Excel的列与实体类可能并不完全一致，这时就需要排除一些实体类的字段。
方式一：类上加注解 @ExcelIgnoreUnannotated，过滤属性没有@ExcelProperty注解的字段
方式二：指定字段加@ExcelIgnore注解
方式三：代码指定过滤字段，通过excludeColumnFiledNames方法：
-
防止导出文件名乱码：
response.setHeader("Content-disposition", "attachment;filename*=utf-8'zh_cn'" + fileName + System.currentTimeMillis() + ".xlsx");
-
可以自定义Listener监听器实现导入数据校验，避免一次性导入太多数据，最好数据分批入库。
4、总结
本文介绍了EasyExcel的使用，整体而言操作简单、使用方便，提供了不少注解，方便与实体对象之间的关系绑定。而且官网也提供了相关的性能数据，更多的API使用大家还可以继续探索。
无论从性能或易用性上来说，都值得你尝试。特别是临时写一个Excel的解析或生成的工具，再也不用惆怅一行行的解析了，赶紧收藏用起来吧。
