局域网本地部署大模型ChatBot,支持新用户注册,多模型同时会话

0 阅读5分钟

大家好,我是 Ai 学习的老章

推荐一个我最近高频使用的大模型 chatbot —— Open WebUI

之前介绍过的Cherry Studio 也很好

给所有大模型加上联网功能,套到极致,就是艺术

但是Cherry Studio没有多模型同时回话

也没有用户身份验证、角色管理和团队协作功能

我最近高频使用的是Open WebUI,它不但解决以上问题,还有很多管理员级功能,我把它它部署在局域网,让公司同事一起使用

Open WebUI 简介

Open WebUI 是一个强大的开源平台,集成了聊天、RAG、多模态交互、工具调用和模型管理等功能,适合个人开发者、研究人员和企业用户。它通过灵活的部署选项、丰富的定制功能和社区支持,为用户提供了一个高效、隐私友好且可扩展的 LLM 交互环境。

我喜欢的功能:

  • • 用户友好的交互界面:类 ChatGPT 聊天界面
  • • 模型支持:兼容多种 LLMs,包括本地模型(如 Ollama、llama.cpp)和远程 API(如 OpenAI、Grok、Mistral 等)。
  • • 多模态支持:支持图像上传、语音输入/输出(语音到文本、文本到语音),以及多模态模型(如 GPT-4o、LLaVA)。
  • • RAG(检索增强生成):通过 Web 搜索或本地文档增强模型回答,提供更准确、上下文相关的响应。支持上传和处理多种文件格式(如 PDF、DOCX、TXT),用于 RAG 和上下文分析。
  • • 工具调用:模型可以调用外部工具(如计算器、API)以执行复杂任务。
  • • Web 搜索集成:通过搜索引擎(如 Google、Bing)获取实时信息,提升回答的准确性。
  • • 工作流(Pipelines):通过 Pipelines 功能创建复杂的工作流程,结合模型、工具和数据源。
  • • Prompt 管理和模板:用户可以保存、共享和重用自定义 Prompt,支持动态变量和预设模板。
  • • 多用户支持:支持用户身份验证、角色管理和团队协作,适合企业或多人使用场景。
  • • 模型管理:通过 WebUI 下载、管理和切换本地或远程模型,支持模型微调和量化。
  • • 聊天历史和上下文:保存聊天记录,支持搜索历史对话,并允许基于上下文的对话延续。

Open WebUI 部署

安装 openwebui 是我见过所有 chatbot 中最简单的了


    
    
    
  # 安装
pip install open-webui

# 启动
open-webui serve

如果想要使用其他部署方式,比如 Docker,可以去官方文档看看
docs.openwebui.com/getting-sta…

浏览器打开 http://locahost:8080 就行了

局域网

大家本地防火墙策略不一样,可能部署后其他用户直接访问 http://ip:8080 就行了

如果不行,还需要部署 Open WebUI 的电脑放开 8080 端口

具体方法:

Windows 上放行 8080 端口

    1. 打开高级防火墙设置:
    • • 在 Windows 搜索框中搜索“高级安全的 Windows Defender 防火墙” (Windows Defender Firewall with
      Advanced Security) 并打开它。
    1. 创建入站规则:
    • • 在左侧面板中,点击“入站规则” (Inbound Rules)。
    • • 在右侧面板中,点击“新建规则...” (New Rule...)。
    1. 设置规则向导:
    • • 规则类型 (Rule Type):选择“端口” (Port),然后点击“下一步”。

    • • 协议和端口 (Protocol and Ports):

      • • 选择“TCP”。
      • • 选择“特定本地端口” (Specific local ports)。
      • • 在输入框中填写 8080,然后点击“下一步”。
    • • 操作 (Action):选择“允许连接” (Allow the connection),然后点击“下一步”。

    • • 配置文件 (Profile):

      • • 这里很重要。为了安全,通常只在你信任的网络中开放。你的家庭或公司网络一般是“专用”
        (Private) 网络。
      • • 建议只勾选“专用”。如果你不确定当前网络类型,可以暂时三个都勾选(域、专用、公用),连通后
        再回来修改。
      • • 点击“下一步”。
    • • 名称 (Name):

      • • 给这个规则起一个容易识别的名字,例如 Allow Port 3000 for Dev。
      • • 点击“完成”。

模型接入

右上角设置 - 管理员面板

设置 - 外部连接

我是用的 siliconflow,注册就是有免费 2000 万 Tokens:
https://cloud.siliconflow.cn/i/YefhGWlT

api 获取地址:https://cloud.siliconflow.cn/account/ak

正常新增 OpenAI API 就行了

然后点击模型,所有可用模型就全部过来了

不需要的可以手动关掉

如上图,管理员面板还有大量功能,自行探索吧

我目前使用最多的功能是多模型对比

也就是一个问题让N个大模型同时回答

新增用户

右上角设置 - 管理员面板 - 用户 - 加号

可以一个一个➕,也可以导入 csv

省点事儿,也可以在设置中运行新用户注册

制作不易,如果这篇文章觉得对你有用,可否点个关注。给我个三连击:点赞、转发和在看。若可以再给我加个🌟,谢谢你看我的文章,我们下篇再见!

搭建完美的写作环境:工具篇(12 章)
图解机器学习 - 中文版(72 张 PNG)
ChatGPT、大模型系列研究报告(50 个 PDF)
108 页 PDF 小册子:搭建机器学习开发环境及 Python 基础 
116 页 PDF 小册子:机器学习中的概率论、统计学、线性代数 
史上最全!371 张速查表,涵盖 AI、ChatGPT、Python、R、深度学习、机器学习等