Ollama 是一个开源的大型语言模型(LLM)本地化部署和管理平台,旨在简化用户在本地设备上运行、交互和管理大模型的过程。简而言之,ollama的特点就是开源、支持所有开源模型、跨平台、指令简单。一、下载安装包访问 Ollama 官网 下载 OllamaSetup.exe
官网下载速度慢的话可以访问 国内下载地址 下载ollama.ruanmao.net/
大家根据自己的电脑,选择下载window、Mac、Linux二、安装ollama默认下载地址是在C盘。我们一般要手动改变它的下载路径,如果你直接双击,那么就是默认下载到C盘。window+r,打开我们的cmd指令
大家的ollama下载在哪个路径,就输入指令跳转到哪个路径即可。比如我的ollama下载在D:\AI\ollama,所以我就执行了 d:,先跳转到D盘下,再直接执行cd ai\ollama,就可以了。接下来执行该指令,就可以把ollama安装到指定的文件路径下了。
OllamaSetup.exe /DIR=D:\AI\Ollama可以看到ollama已经在安装了
输入指令 ollama --version。如果显示了版本号,恭喜你安装成功了。
三、设置大模型的安装路径。如果不执行这一步的话,那么不久后你的C盘就会被你下载的各个大模型占满了。我的电脑右键 -> 属性 -> 系统 -> 高级系统设置 -> 环境变量
至此,你的ollama已经大功告成了,为了让修改生效,我们需要先退出当前的ollama,再重新打开即可。四、安装大模型1. 我们先输入指令,ollama.exe重启。然后在官网查看你要下载的大模型,注意下载的大模型一定要适配你的显存。教大家一个简单的办法,比如说这里大模型是1.5b,那么其对显存的大小应该乘于2,即你的显存最少应该是3GB。
复制上述的指令,粘贴在控制台中,就可以看到已经在下载了