使用 Docker 部署 Xinference 本地大模型推理框架

692 阅读1分钟

限于硬件原因,GPU 配置过低,本次部署的 Xinference 不使用 GPU 硬件资源。 首先执行 Docker 部署命令:

docker run -p 9997:9997 xprobe/xinference:latest-cpu xinference-local -H 0.0.0.0

如果是初次部署,Docker 会先拉取对应的镜像文件,如下图所示:

image.png

出现以下信息则代表部署成功:

image.png

一旦 Xinference 服务运行起来,可以有多种方式来使用,包括使用网页、cURL 命令、命令行或者是 Xinference 的 Python SDK。

可以通过访问 http://127.0.0.1:9997/ui 来使用 UI,访问 http://127.0.0.1:9997/docs 来查看 API 文档。

可视化界面:

image.png

API 文档界面:

image.png