OpenWebUI (本地)对接 vLLM (服务器)的完整过程
OpenWebUI (本地)对接 vLLM (服务器)的完整过程1. 启动OpenWebUI2. 配置OpenWebUI
前提：已经在本地安装好OpenWebUI，在服务器端使用vllm已经启用服务(vllm serve)
1. 启动OpenWebUI
- 使用命令
open-webui serve启动服务 - 在浏览器中访问http://localhost:8080/ 打开页面（如果你安装open-webui是直接使用python安装的，否则如果你使用的是docker，这里需要访问http://localhost:3000 ）
- 按照要求注册管理员账号
参考资料：
2. 配置OpenWebUI
- 打开管理员面板
- 选择添加OpenAI接口
- URL按照
http://服务器ip:8000/v1，密钥随便填写即可(vllm默认无密钥)，但是此时填写的URL可能会有问题，无法正常连接，我们在第四步解决详细说明
- 解决URL问题
原因： 服务器上启动vllm，端口为http://0.0.0.0:8000，但是这个地址外网(本地)无法直接访问
解决： 使用SSH的隧道服务
- 在本地终端
ssh -L 8000:127.0.0.1:8000 服务器用户名@服务器ip -p 服务器开放端口
命令含义是ssh -L 本地端口:目标地址:目标端口 user@server，当你访问本地的8000端口时，会转发到服务器的8000端口
- 再输入密码连接即可
- 将URL修改为
http://127.0.0.1:8000/v1
- 如果一切顺利，在模型部分，即可看到你服务器运行的模型
