很多朋友在网上咨询Ubuntu中安装Ollama的各种问题,今天我来给大家详细讲解一下在Ubuntu Server 24.04中安装Ollama最新版并下载运行大模型的过程。
首先访问ubuntu.com/download/se… 24.04 LTS。
安装过程Ubuntu官网有详细教程,包括U盘本地安装、虚拟机安装、如何制作启动盘等。如果确实找不到的,可以访问
ubuntu.com/server/docs…
点击Download,选择Linux:
复制安装命令curl -fsSL
ollama.com/install.sh | sh到Ubuntu运行:
user@server:~$ curl -fsSL https://ollama.com/install.sh | sh
>>> Downloading ollama...
######################################################### 100.0%
############################################## 64.4%
安装接近尾声时需要输入root密码:
>>> Downloading ollama...
######################################################################## 100.0%-#O#- # # ######################################################################## 100.0%
>>> Installing ollama to /usr/local/bin...
[sudo] password for fengshuai:
>>> Adding ollama user to render group...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
>>> The Ollama API is now available at 127.0.0.1:11434.
>>> Install complete. Run "ollama" from the command line.
WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.
WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.
大家可以看到,我的电脑没有独显,所以只能运行在CPU-only模式,这个后面我会提到。
运行ollama -v命令查看版本,是否为最新版,截止发文日,最新版本为0.3.3。
user@server:~$ ollama -v
ollama version is 0.3.3
运行ollama命令查看常用命令详解。
user@server:~$ ollama
Usage:
ollama [flags]
ollama [command]
Available Commands:
serve Start ollama
create Create a model from a Modelfile
show Show information for a model
run Run a model
pull Pull a model from a registry
push Push a model to a registry
list List models
ps List running models
cp Copy a model
rm Remove a model
help Help about any command
Flags:
-h, --help help for ollama
-v, --version Show version information
Use "ollama [command] --help" for more information about a command.
初学者最常用的就是run和list命令,后面我们会讲到,其他大家可以网上百度。
到此,Ollama安装完毕,接下来马上就要进入安装大模型的环节。
接下来让我们回到Ollama网站,点击网站右上角的Models:
选择心仪的大模型,比如:llama 3.1。
点击后,如下提示:
选择8B参数(这里重点说一下,不是非要独显才能跑,我的电脑就是很普通的工作电脑,CPU:I5-12500,内存:16G,固态硬盘)。
坑一:切记将Ubuntu的虚拟内存设置的大一些,不然有些模型会报错,内存超大或者有好独显的可以忽略其他一切OK,只是速度快慢问题,但不影响任何运行。
复制后面的命令:
ollama run llama3.1
根据选择的模型大小,等待下载,下载完成后会直接进入提问模式:
>>> Send a message (/? for help)
>>> llama是什么?
Llama 是一个由 Meta 开发的对话模型和语言理解技术,它可以用自然语言回答问题、进行对话、甚至创作文字或图片。
截止到现在,所有工作已经做完,可以开心的使用各类大模型进行研究了。