前面自从带领大家部署DeepSeek+Dify做本地知识库后，大家反馈了很多问题，我也做了相应的答疑篇，第一次看到本文的朋友可以回看，这里我贴上链接，方便跳转： juejin.cn/post/747043… juejin.cn/post/747045…
随着大家的深入使用，发现ollama部署大模型虽然方便，但是Dify知识库混合检索，需要有rerank模型，这一点上，ollama是不支持rerank模型的，因此，部署一个Xinference平台来部署rerank模型的呼声越来越强烈。
于是，我就安排上了这篇部署教程。
一、什么是Xinference？
Xinference（全称Xorbits Inference）是一个性能强大且功能全面的分布式推理框架，旨在为各种AI模型的运行和集成提供便捷的解决方案。
你可以理解为：它是一个超级智能小助手，可以帮你把各种厉害的AI模型轻松部署在本地并运行起来，让它们在你的电脑或者服务器上高效地干活。
二、安装Xinference
请注意：安装xinference需要电脑支持 NVIDIA 的 GPU，否则，后面的步骤无法运行
一）打开 powershell
按下 win 键，搜索并打开powershell：
二）创建容器宿主机目录
造打开的 powershell 中粘贴如下命令，递归创建所需目录：
注意：目录位置可以根据自己电脑情况进行调整，此处默认创建在了C盘根目录，以后xinference的数据都会存在此处
mkdir "C:\xinference"
三）拉取xinference镜像并创建容器
还是在打开的 powershell 中粘贴如下命令，拉取并创建启动 xinference 容器：
请注意：本步是安装 xinference ，需要电脑支持 NVIDIA 的 GPU，否则，无法运行，会报如下错误：
& docker run -d `
--name xinference `
-v "C:\xinference:/xinference" `
-e XINFERENCE_HOME="/xinference" `
-p 9997:9997 `
--gpus all `
xprobe/xinference:latest `
xinference-local -H 0.0.0.0 --log-level debug
至此，xinference 服务就创建完成并已经启动了，可以访问它的UI界面了 ！
四）访问 Xinference 页面
浏览器输入：http://localhost:9997 即可访问
三、下载模型
此处要从huggingface上下载大模型 ，所以需要科学上网
一）下载embedding模型
点击 EMBEDDING MODELS ，这里我们选择排名比较靠前的 bge-large-zh-v1.5
点击部署以后，可以在容器内看到执行下载的信息
二）下载rerank模型
切换到 RERANK MODELS 下面，这里我们依旧选择 beg系列的模型：bge-reranker-large
他对中英文 支持都很不错
四、获取xinference一键安装包
如果自己电脑拉取docker镜像总失败，可以考虑下载我封装好的一键安装包。
不需要再去下载docker镜像，只需要点击Xinference.exe 即可启动xinference服务，且已经包含离线embedding+rerank模型，无需担心网络问题下载失败
关注公众号：阿坡RPA
回复关键字：xinference
即可获取xinference一键安装包
一）获取下载链接
二）解压缩
三）启动服务
四）等待服务启动完成
注意：根据电脑不同，启动时间各不相同，一般在3-5分钟左右，等自动打开浏览器页面，如果打开浏览器页面时，显示无法访问，说明服务还没完全启动，可以再等几分钟，在刷新一下页面即可
五）xinference页面
五、到Dify配置在xinference中安装的模型
来到Dify，点击右上角用户头像--》设置--》供应商，安装Xiference插件，用来配置模型
一）安装xinference插件
安装插件需要连接dify插件市场，可能需要科学上网，当然，也可以用别人下载好的插件，使用本地离线文件方式安装
二）配置模型
主要填写信息：
类型选择，模型名称，模型ID，xinference的服务器URL
其他选项默认
1、配置rerank模型
1）选择模型类型
2）填写模型名称和ID等信息
此处模型名称和模型UID相同，我们的xinference是在docker容器内的，所以，服务器URL是：http://host.docker.internal:9997
2、配置embedinig模型
嵌入模型配置和rerank模型的配置类似
1）选择模型类型
2）填写模型名称和ID等信息
六、Dify系统模型配置embbeding和rerank模型
七、小结
本文详细讲述了xinference的部署及与Dify上配置xinference部署好的嵌入模型和rerank模型，xinference是一个非常强大的平台，他还可以部署很多强大的开源模型。
比如：大语言模型，视频生成模型，图片生成模型，音频生成模型等等，大家部署完了以后，可以自己折腾更多的模型，为自己的工作场景提效，有任何疑问欢迎蔚鑫ao-ai-coding联系我呀~
