LLM大模型工具Ollama使用指南

622 阅读1分钟

是什么

Ollama 是一个开源的本地大语言模型运行框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。

安装与使用

安装Ollama

自定义Ollama安装路径

首先,在你想安装的路径下创建好新目录,并将 Ollama 的安装包下载到此处,比如:D:\cyao\Ollama

在文件路径输入 CMD回车,自动打开在当前文件夹目录下的命令行窗口。

输入安装命令:

OllamaSetup.exe /DIR=D:\cyao\Ollama

然后,Ollama 就会进入安装,点击Install后,可以看到 Ollama的安装路径就变成了我们指定的目录了,这样,后续的大模型数据也会默认下载到指定目录中

手动创建大模型存储目录:

新建一个环境变量

变量名:OLLAMA_MODELS
变量值:D:\cyao\Ollama\models

验证 Ollama 是否安装成功

netstat -ano | findstr 11434

ollama --version

安装通义千问大模型

千问模型为例

ollama run qwen3:0.6b

下载完成直接进入对话,退出输入命令 Ctrl + d或者 /bye

Ollama 常用命令

下载模型:

ollama pull <model_name>

删除模型:

ollama rm <model_name>

运行模型(未下载直接下载)

运行后,会进入交互式对话模式,可以直接与模型对话。
在交互模式下,输入 /bye 或按下 Ctrl+D 退出。

ollama run <model_name>

查看现有模型

ollama list

查看模型信息

ollama show <model_name>