限于硬件原因,GPU 配置过低,本次部署的 Xinference 不使用 GPU 硬件资源。 首先执行 Docker 部署命令:
docker run -p 9997:9997 xprobe/xinference:latest-cpu xinference-local -H 0.0.0.0
如果是初次部署,Docker 会先拉取对应的镜像文件,如下图所示:
出现以下信息则代表部署成功:
一旦 Xinference 服务运行起来,可以有多种方式来使用,包括使用网页、cURL 命令、命令行或者是 Xinference 的 Python SDK。
可以通过访问 http://127.0.0.1:9997/ui 来使用 UI,访问 http://127.0.0.1:9997/docs 来查看 API 文档。
可视化界面:
API 文档界面: