环境安装
安装ollama
参考Ollam-Linux进行安装
自动安装
curl -fsSL https://ollama.com/install.sh | sh
手动安装
- 下载安装包
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
- 在本地127.0.0.1
ollama serve
- 本地所有ip上启动，确保内网内都可以访问
OLLAMA_HOST=0.0.0.0 ollama serve
安装Open-WebUI
参考Windows下Ollama与Open-WebUI的安装与实战指南
需要使用
python3.11版本及以上
> git clone https://github.com/open-webui/open-webui
> cd open-webui
> npm install
> npm build
> cd backend
> pip install -r requirements.txt
> ./start.sh or ./dev.sh
openui安装
- 克隆项目
git clone https://github.com/wandb/openui
cd openui/backend
uv sync --frozen --extra litellm
- 生成
requirements.txt
weave==0.50.0
openai==1.12.0
ollama==0.1.7
itsdangerous==2.0.1
peewee==3.17.5
fastapi==0.111.0
uvicorn==0.22.0
fastapi-sso==0.10.0
boto3==1.34.67
安装依赖pip install -r requirements.txt
- 启动
python3 -m openui
- 默认在7878端口启动
应用
使用Open-WebUI可视化界面
对话模式
- 使用
qwen2大模型
- 后台使用ollama查看模型启动情况
使用文生图
- 配置集成ComfyUI文生图，详细的可以参照Setting Up Open WebUI with ComfyUI
ps: 1.在 ComfyUI 中启用开发者模式 2.导出API格式的json 3.设置里面的"Prompt"节点需要和导出的json中的输入文本节点id对应上
- 切换到
impactframes/llama3_ifai_sd_prompt_mkr_q4km大模型
impactframes/llama3_ifai_sd_prompt_mkr_q4km将 Llama 3 与 5000 个高质量的稳定扩散提示结合在一起，以确保优越的提示性能和质量。
- 输入提示词后，该模型会扩写提示词
- 点击下面的图片按钮生成图片
ComfyUI中使用ollama大模型扩写提示词
- 使用comfyui-ollama插件来集成
ollama中的大模型
使用openui生成UI界面
- 配置生成页面的大模型
- 使用提示语对话生成UI，比如生成
5天签到活动，最终效果如下
总结
本文简单介绍了使用Ollama来快速启动和运行大语言模型的流程，同时介绍了一些有趣的和Ollama相关的应用。
附录
常用命令
- 查看正在运行的模型
ollama ps
- 查看模型列表
ollama list
它的命令和docker很类似
ollama仓库
参考
- Ollama使用指南【超全版】
- 使用Ollama
- 本地ChatUI画图，基于ollama，llama3，OpenWebUI，ComfyU
- 使用 ComfyUI 來生成圖片，再將其導入 Open WebUI 中，讓使用更加直觀。
- ComfyUI Integration
comfyui 集成open-webui的问题
如果希望可以集成comfyui，需要：1.在 ComfyUI 中启用开发者模式 2.导出API格式的json
- 搭建本地AI助理原来这么简单，完全开源、零基础使用（基于ComfyUI+Llama3+OpenWebUI搭建会话式AI助理）
- ComfyUI中使用大语言模型Ollama给提示词润色，解决词穷问题
- 用Ollama自动优化Comfyui提示词
- 三分钟轻松搭建本地大模型！ Ollama + Open WebUI本地化部署大模型，知识库+多模态+文生图功能详解
openWebUI功能详细介绍
Comfyui中调用Ollama插件和If-Ai插件实现本地图像反推。
