Xinference Huggingface常用命令

2025-03-10 2,237 阅读2分钟

指定Xinference下载模型的路径

1. 通过环境变量全局设置

修改默认存储路径 在启动Xinference服务前，通过设置环境变量 XINFERENCE_HOME 指定模型和数据的存储目录。例如：
```
Bash
export XINFERENCE_HOME=/your/custom/path
xinference-local --host 0.0.0.0 --port 9997
```
这样所有模型和缓存文件都会保存在 /your/custom/path 目录下
指定模型下载来源 若需从魔搭社区（ModelScope）下载模型，可额外设置：
```
Bash
export XINFERENCE_MODEL_SRC=modelscope
```
这会将默认的HuggingFace源替换为ModelScope

2. 在代码中指定模型路径

使用ModelScope下载时自定义路径 若通过代码下载模型，可以在 snapshot_download 函数中直接设置 cache_dir 参数：
```
Python
from modelscope import snapshot_download
model_dir = snapshot_download('Jerry0/text2vec-base-chinese', cache_dir='/your/custom/path')
```
此方法适用于需要临时调整单个模型的存储位置
注册自定义模型时指定路径 自定义模型需在 model.json 配置文件中明确 model_uri 字段为模型的绝对路径：
```
Json
{
  "model_uri": "/home/your_model_path",
  ...
}
```
注册后，Xinference会直接从此路径加载模型

3. 通过软链接调整路径

创建软链接覆盖默认缓存目录 如果已手动下载模型文件，可以通过软链接将自定义路径映射到Xinference的默认缓存路径：
```
Bash
ln -s /your/custom/model/path ~/.xinference/cache/model-name-format
```
例如，将已下载的ChatGLM3模型链接到默认缓存目录：
```
Bash
ln -s ~/Downloads/chatglm3-6b ~/.xinference/cache/chatglm3-pytorch-6b
```
此方法适用于希望复用现有模型文件的情况

4. 通过启动参数临时指定

启动服务时指定路径 直接在启动命令中结合环境变量设置：
```
Bash
XINFERENCE_HOME=/your/custom/path xinference-local --host 0.0.0.0 --port 9997
```
这种方式无需永久修改环境变量，适合临时调整

注意事项

路径权限：确保自定义路径有读写权限。
软链接校验：Xinference会检查 ~/.xinference/cache 目录下的 __valid_download 文件，若通过软链接添加模型，需手动复制该文件或确保其存在
模型格式：路径中的模型目录需符合Xinference的命名规则（如 model-name-format），否则可能无法识别

以上方法可根据实际需求灵活选择。如果需要进一步调试，可参考Xinference的日志文件（默认在 ~/.xinference/logs 或自定义路径中）。