大文件上传和优化方式

文件上传问题

文件上传是常见的需求，但在处理大文件时，用户体验和效率变得至关重要。一般的文件上传方式可能不适用于大文件，特别是当上传中断后，需要重新开始整个过程。

优化方式

1. 秒传

• 概念： 通过对文件进行 MD5 校验，服务器检查是否已存在相同文件，若存在则返回已上传文件的地址。

• 实现逻辑：

  • 使用 Redis 存储文件上传状态，标志文件是否已完成。
  • 如果文件未完成，记录块号文件的路径。

2. 分片上传

• 概念： 将大文件分割成多个数据块进行上传，最后在服务器端合并还原成原始文件。

• 适用场景：

  • 处理大文件上传。
  • 在网络环境不稳定，可能需要重传的情况。

3. 断点续传

• 概念： 将上传任务分为多个部分，每部分可以单独上传。在上传过程中，如果中断，可以从已上传部分开始继续上传。

• 应用场景：

  • 与分片上传类似，可用于大文件上传。

• 核心逻辑：

  • 记录上传进度，避免重头开始上传。
  • 提供接口查询已上传分片，方便客户端从上次中断的地方继续上传。

后端实现方式

1. RandomAccessFile 实现

• 代码实现：

  • 利用 RandomAccessFile 定位分片位置，进行写入。

2. MappedByteBuffer 实现

• 代码实现：

  • 使用 MappedByteBuffer 进行文件映射，实现分片的写入。

3. 文件操作核心模板类

• 功能：

  • 创建临时文件，用于存储上传的分片。
  • 检查并修改文件上传进度。
  • 将上传进度信息存储到 Redis。

4. 文件保存及重命名

• 功能：

  • 将上传完成的文件保存到指定路径。
  • 可选的重命名操作。