DingoSpeed—— 你的本地HuggingFace镜像加速神器
DingoSpeed 是一款自托管的 HuggingFace 镜像服务,专为解决模型与数据集获取难题设计。
它支持单节点与多节点部署:单节点可通过兼容 HF Hub 规范的 API 实现模型 / 数据集下载,支持断点续传、分块存储和多版本快照,还能自动切换下载线路;多节点则能协同同步缓存、智能调度资源,构建点对点下载网络,同时支持故障切换保障稳定性。
本地化管理能力突出,首次下载资源自动缓存,后续请求从缓存读取,大幅提升速度并减少流量消耗。还内置多种磁盘清理策略(LRU/FIFO 等),结合实时监控功能,可追踪下载 IP、速度、流量等数据,搭配 Grafana 直观展示运行状态。
无论是开发者还是研究人员,无需复杂配置,部署后只需设置环境变量,即可摆脱外部网络依赖,高效、安全地管理 Hugging Face 资源。
功能清单
如何使用
Dingospeed使用也非常简单,将该服务启动后,通过修改本地的环境变量为服务的地址,然后使用huggingface-cli命令下载模型即可。
不同操作系统环境变量配置如下:
Linux:
export HF_ENDPOINT=http://localhost:8090
Windows Powershell:
$env:HF_ENDPOINT = "http://localhost:8090"