是什么
Ollama 是一个开源的本地大语言模型运行框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。
安装与使用
安装Ollama
自定义Ollama安装路径
首先,在你想安装的路径下创建好新目录,并将 Ollama 的安装包下载到此处,比如:D:\cyao\Ollama。
在文件路径输入 CMD回车,自动打开在当前文件夹目录下的命令行窗口。
输入安装命令:
OllamaSetup.exe /DIR=D:\cyao\Ollama
然后,Ollama 就会进入安装,点击Install后,可以看到 Ollama的安装路径就变成了我们指定的目录了,这样,后续的大模型数据也会默认下载到指定目录中。
手动创建大模型存储目录:
新建一个环境变量
变量名:OLLAMA_MODELS
变量值:D:\cyao\Ollama\models
验证 Ollama 是否安装成功
netstat -ano | findstr 11434
ollama --version
安装通义千问大模型
千问模型为例
ollama run qwen3:0.6b
下载完成直接进入对话,退出输入命令 Ctrl + d或者 /bye
Ollama 常用命令
下载模型:
ollama pull <model_name>
删除模型:
ollama rm <model_name>
运行模型(未下载直接下载)
运行后,会进入交互式对话模式,可以直接与模型对话。
在交互模式下,输入 /bye 或按下 Ctrl+D 退出。
ollama run <model_name>
查看现有模型
ollama list
查看模型信息
ollama show <model_name>