-
1. ollama部署
Ollama 是一个用于在本地运行大型语言模型的工具，比如llama2、千文qwen、mistral等，可以在Windows、Linux、MacOS系统上进行部署。下面将介绍如何在不同操作系统上安装和使用 Ollama。
官网：ollama.com
Github：github.com/ollama/olla…
2. ollama部署
本文安装环境为：Windows10专业版
下载： Ollama下载地址：ollama.com/download
现在Ollama已经安装完了，我们需要在终端中输入下方命令运行一个大语言模型进行测试，这里以对在中文方面表现相对好些的千问为例，大家也可以使用其他的模型。
2.1 模型下载运行
下并运行模型，这里选择一个比较小的本机运行
ollama run gemma:2b
这里还有很多支持的模型查询： ollama.com/library
Note: You should have at least 8 GB of RAM available to run the 7B models, 16 GB to run the 13B models, and 32 GB to run the 33B models.
-
ollama run llama2-chinese:7b
-
ollama run qwen:1.8b（ollama.com/library/qwe…
2.2 ui界面搭配
这里很多教程推荐open webUI来配合使用，这里的目的是方便的切换模型；安装Docker
windows上面安装Docker，需要安装wsl虚拟环境；如果是Windows请使用WSL2（2虚拟了完整的Linux内核，相当于Linux）Linux安装
open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI) 地址：github.com/open-webui/…
2.3 模型地址修改
3. API介绍：
-
REST API
除了命令行，Ollama 默认提供了一个 REST API 端口，允许用户通过 API 调用和管理模型。
生成补全
curl http://localhost:11434/api/generate -d '{
"model": "gemma:2b",
"prompt":"为什么天空是蓝的?"
}'
生成聊天补全
curl http://localhost:11434/api/chat -d '{
"model": "gemma:2b",
"messages": [
{ "role": "user", "content": "为什么天空是蓝的?" }
]
}'
