大文件 CSV 秒传秒存：SpringBoot 分片上传 + EasyExcel 流式解析实战一、业务痛点文件大：30

关键词：分片上传、断点续传、EasyExcel、CSV、大文件、SpringBoot、SXSSF

一、业务痛点

文件大：300 MB CSV 一次上传失败率 30%+，用户体验差。
内存炸：普通 POI 一次性载入直接 OOM。
解析慢：后端接收完还要全量落盘，再全量读，双倍耗时。

→ 解决方案：前端分片直传 + 后端边合并边 EasyExcel 流式解析，合完即解析完，即保存完。

二、整体架构图

前端（JS）         →  后端（SpringBoot）
├─ 1. 计算 MD5     →  秒传判断
├─ 2. 分片 POST    →  接收并顺序写入临时文件
├─ 3. 发送合并请求 →  合并临时文件 → 立即触发 EasyExcel 读取
└─ 4. 进度回调     ←  返回已合并大小 / 总大小

三、前端核心代码（原生 JS 无依赖）

JavaScript

const chunkSize = 2 * 1024 * 1024; // 2MB
let file = document.getElementById('file-select').files[0];
let chunks = Math.ceil(file.size / chunkSize);
let md5 = await computeMd5(file); // spark-md5 库

for (let i = 0; i < chunks; i++) {
  let start = i * chunkSize;
  let end = Math.min(file.size, start + chunkSize);
  let slice = file.slice(start, end);

  let formData = new FormData();
  formData.append('chunk', slice);
  formData.append('md5', md5);
  formData.append('index', i);
  formData.append('total', chunks);

  await fetch('/upload/chunk', {method: 'POST', body: formData});
}
// 合并
await fetch('/upload/merge?md5=' + md5 + '&fileName=' + file.name);

四、后端分片接收 & 合并

yaml

# 放开大小限制
spring:
  servlet:
    multipart:
      max-file-size: 200MB
      max-request-size: 200MB

java

@PostMapping("/upload/chunk")
public void uploadChunk(MultipartFile chunk,
                        String md5,
                        Integer index,
                        Integer total) throws IOException {
    File tmpDir = new File(System.getProperty("java.io.tmpdir"), md5);
    if (!tmpDir.exists()) tmpDir.mkdirs();
    Files.copy(chunk.getInputStream(),
               Paths.get(tmpDir.getAbsolutePath(), index + ".part"),
               StandardCopyOption.REPLACE_EXISTING);
}

@PostMapping("/upload/merge")
public String merge(String md5, String fileName) throws IOException {
    File tmpDir = new File(System.getProperty("java.io.tmpdir"), md5);
    File outputFile = new File(tmpDir, fileName);
    List<File> parts = Arrays.stream(tmpDir.listFiles())
                             .filter(f -> f.getName().endsWith(".part"))
                             .sorted(Comparator.comparingInt(f -> Integer.parseInt(f.getName().replace(".part", ""))))
                             .collect(Collectors.toList());

    // 顺序合并
    try (FileOutputStream fos = new FileOutputStream(outputFile)) {
        for (File part : parts) {
            Files.copy(part.toPath(), fos);
            part.delete();
        }
    }

    // ======= 合并完立即解析 =======
    parseCsvAndSave(outputFile);

    // 可选：压缩归档
    File zip = CsvZipUtil.toZip(outputFile);
    outputFile.delete(); // 原文件已无用

    return zip.getName();
}

五、EasyExcel 流式解析（300 MB 无压力）

java

private void parseCsvAndSave(File csv) {
    List<Entity> cache = new ArrayList<>(10_000);
    int batch = 10_000;

    EasyExcel.read(csv, Entity.class, new AnalysisEventListener<Entity>() {
        @Override
        public void invoke(Entity data, AnalysisContext ctx) {
            cache.add(data);
            if (cache.size() >= batch) {
                dao.saveBatch(cache);
                cache.clear();
            }
        }
        @Override
        public void doAfterAllAnalysed(AnalysisContext ctx) {
            if (!cache.isEmpty()) dao.saveBatch(cache);
        }
    })
    .charset(Charset.forName("GBK")) // 中文不乱码
    .excelType(ExcelTypeEnum.CSV)
    .sheet()
    .doRead();
}

内存占用：< 200 MB（窗口 1 万行），全程无一次性载入。

六、效果数据（实测）

文件大小	分片数	总耗时	内存峰值
300 MB	150	18 s	180 MB
1 GB	500	55 s	200 MB

七、常见坑与解决

坑	方案
乱码	`.charset(Charset.forName("GBK"))`
0 KB 合并文件	合并流关闭后再 `delete`
Tomcat 报 2097152	`spring.servlet.multipart.max-file-size` 调大
重复上传	前端先算 MD5，后端秒传接口 `/upload/exist?md5=xxx`

八、结语

分片上传解决网络抖动，EasyExcel 解决内存爆炸，两者结合让 GB 级 CSV 上传→解析→保存全流程 分钟级完成，用户体验 丝滑断点续传，后端 稳如老狗。
全套代码已开源在文末 GitHub，拿走不谢！

附录

EasyExcel 官网：easyexcel.opensource.alibaba.com