Ollama【部署 03】客户端应用ChatBox、AnythingLLM及OpenWebUI部署使用详细步骤

271 阅读3分钟

客户端软件提供可视化的模型及参数配置,人性化的对话窗口及文件上传功能,大大降低了大模型的使用门槛。

1.ChatBox

Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在各种系统下使用。无论是文档、图片还是代码,只需将您的文件发送给 Chatbox。它将理解内容并提供智能响应,在每次交互中提高您的生产力和创造力。Chatbox 将所有数据存储在本地(从对话历史记录到个人设置)所有内容都存储在您的设备上,让您完全掌控并安心。官网地址 chatboxai.app/zh 安装过程:

  1. 双击安装程序Chatbox-1.9.8-Setup.exe 并选择下一步

  1. 选择安装目标文件夹点击安装

  1. 等待安装完成

  1. 点击完成

  1. 配置模型(点击设置-模型)

选择模型提供方、API域名(根据部署服务器的IP和映射端口进行设置)、选择模型、设置上下文的消息数量上限、严谨与想象配置,点击保存即可。

  1. 聊天(可添加图片、不同格式的文件)

2.AnythingLLM

AnythingLLM是一个全栈应用程序,可以使用现成的商业大语言模型或流行的开源大语言模型,构建一个私有ChatGPT,不再受制于人,本地运行,能够与您提供的任何文档智能聊天。官网地址 anythingllm.com/ 安装过程:

  1. 双击安装程序AnythingLLMDesktop.exe 并点击下一步

  1. 选择目标文件夹并点击安装

  1. 等待安装完成

  1. 等待下载所需库文件

  1. 点击完成

  1. 点击开始

  1. 模型选择及配置(Ollama Base URL 要根据实际情况进行配置)

  1. 数据处理与隐私说明

  1. 内网可跳过调查

  1. 创建工作区

  1. 发送消息即可开始使用(可添加附件)

  1. 配置本地文档或数据链接

  1. 聊天的其他配置

3.OpenWebUI

blog.csdn.net/weixin_4245…

OpenWebUI 是开源的,可以进行二次开发,这个是很大的优势,官网介绍: Open WebUI is an extensible, self-hosted AI interface that adapts to your workflow, all while operating entirely offline.官网地址 www.openwebui.com/ 本次使用最简单的 Docker 部署,Docker 的安装这里不再赘述,需要安装 Ollama且需要设置环境变量,OpenWebUI 默认请求 11434 端口:

export OLLAMA_HOST=0.0.0.0:11434
nohup ./ollama serve >> serve.log 2>&1 &

OpenWebUI 安装流程:

官方文档 docs.openwebui.com/

  1. 拉取镜像 启动 docker
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
  1. 访问 http:ip:3000打开页面

  1. 完成管理员账号注册

  1. 登录成功

  1. 选择已安装模型

  1. 进行对话

4.小小的总结

讯飞星火:Chatbox AI 更适合个人和小团队的日常使用,AnythingLLM 适合企业级文档处理和团队协作,而 openwebui 则适合开发者进行快速开发和定制化的 Web 应用构建。

本文介绍了三款AI客户端工具:ChatBox、AnythingLLM和OpenWebUI,帮助用户低门槛使用大模型。ChatBox支持多格式文件交互,数据本地存储,安装简单并提供模型配置功能。AnythingLLM可构建私有ChatGPT,支持本地文档处理,需配置模型参数。OpenWebUI为开源工具,支持Docker部署,适合开发者二次开发。三款工具各有侧重:ChatBox适合个人日常使用,AnythingLLM适合企业文档协作,OpenWebUI适合定制化开发。