极速移除 Git 历史中的大文件,告别 git filter-branch太慢的问题

29 阅读3分钟

前言

在日常开发中,我们难免会遇到误将大文件(如 .rar.zipnode_modules 或大媒体文件)提交到 Git 仓库的情况。这不仅导致仓库体积迅速膨胀,拉取和推送速度变慢,甚至会因为超过平台(如 GitHub/GitLab)的单文件大小限制而无法推送。

传统的解决方案是使用 git filter-branch 命令来重写历史,但这个命令不仅语法复杂,而且处理速度极慢。对于稍大的仓库,运行一次可能需要几十分钟甚至更久。

本文将介绍一个更专业、极速的替代工具——BFG Repo-Cleaner。它专门用于从 Git 仓库中移除大文件或敏感数据(如密码),速度比 git filter-branch 快 10~50 倍。此外,文章末尾还将分享一个基于干净仓库实现的“公司-家庭”双向同步实战方案。

为什么选择 BFG Repo-Cleaner?

  • 速度极快:基于 Scala 编写,性能优越,秒级完成清理。
  • 使用简单:不需要像 git filter-branch 那样编写复杂的 Bash 脚本逻辑。
  • 智能保护:默认保护 HEAD(当前最新的提交),确保你当前的工作文件不会被误删,只清理历史记录。

实战步骤:清理 Git 历史大文件

第一步:准备工作

  1. 下载 BFG 工具

    访问 BFG 官网下载最新的 jar 包(例如 bfg-1.14.0.jar):

    rtyley.github.io/bfg-repo-cl…

    建议将 jar 包放置在与你的项目文件夹平级的目录中,方便后续操作。

  2. 环境要求

    确保你的电脑上安装了 Java 运行环境(JRE/JDK)。

  3. 备份仓库(非常重要!)

    在执行任何重写 Git 历史的操作前,务必将整个项目文件夹复制一份作为备份。一旦操作失误,可以立即还原。

第二步:一键清洗

假设你的项目文件夹名为 my-project,需要删除的历史大文件名为 huge_file.rar

  1. 在 jar 包所在的目录下打开终端(Git Bash 或 CMD)。
  2. 执行以下命令:
# 语法:java -jar <bfg-jar路径> --delete-files <要删除的文件名> <项目文件夹名>
java -jar bfg-1.14.0.jar --delete-files huge_file.rar my-project

执行结果:

BFG 会自动扫描所有的 Git 提交历史,定位并移除该文件。你会看到控制台飞快地滚动日志,通常几秒钟即可完成。显示 BFG run is complete 即表示清洗结束。

第三步:物理粉碎(GC)

BFG 只是在逻辑上移除了文件引用,Git 的垃圾回收机制(Garbage Collection)还没有真正从磁盘上删除它们。我们需要进入项目目录,强制执行 GC:

cd my-project

# 强制过期所有 reflog,并立即修剪和清理
git reflog expire --expire=now --all && git gc --prune=now --aggressive

此时,你的 Git 仓库体积应该已经大幅减小,那个幽灵般的大文件彻底消失了。


总结

通过 BFG Repo-Cleaner,我们可以用最简单的方式解决 Git 历史大文件污染的问题,其效率远超 git filter-branch。保持仓库的整洁不仅能提升操作速度,更是实现多端高效同步的基础。