Ubuntu24.04安装、运行Ollama详细教程(包括一些踩坑解决办法)

7,216 阅读2分钟

很多朋友在网上咨询Ubuntu中安装Ollama的各种问题,今天我来给大家详细讲解一下在Ubuntu Server 24.04中安装Ollama最新版并下载运行大模型的过程。

首先访问ubuntu.com/download/se… 24.04 LTS。

安装过程Ubuntu官网有详细教程,包括U盘本地安装、虚拟机安装、如何制作启动盘等。如果确实找不到的,可以访问
ubuntu.com/server/docs…

访问ollama.com/官网。

点击Download,选择Linux:

复制安装命令curl -fsSL
ollama.com/install.sh | sh到Ubuntu运行:

user@server:~$ curl -fsSL https://ollama.com/install.sh | sh
>>> Downloading ollama...
#########################################################  100.0%                              
##############################################                            64.4%

安装接近尾声时需要输入root密码:

>>> Downloading ollama...
######################################################################## 100.0%-#O#- #   #                              ######################################################################## 100.0%
>>> Installing ollama to /usr/local/bin...
[sudo] password for fengshuai:

>>> Adding ollama user to render group...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
>>> The Ollama API is now available at 127.0.0.1:11434.
>>> Install complete. Run "ollama" from the command line.
WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.

WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.

大家可以看到,我的电脑没有独显,所以只能运行在CPU-only模式,这个后面我会提到。

运行ollama -v命令查看版本,是否为最新版,截止发文日,最新版本为0.3.3。

user@server:~$ ollama -v
ollama version is 0.3.3

运行ollama命令查看常用命令详解。

user@server:~$ ollama
Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

初学者最常用的就是run和list命令,后面我们会讲到,其他大家可以网上百度。

到此,Ollama安装完毕,接下来马上就要进入安装大模型的环节。

接下来让我们回到Ollama网站,点击网站右上角的Models:

选择心仪的大模型,比如:llama 3.1。

点击后,如下提示:

选择8B参数(这里重点说一下,不是非要独显才能跑,我的电脑就是很普通的工作电脑,CPU:I5-12500,内存:16G,固态硬盘)。

坑一:切记将Ubuntu的虚拟内存设置的大一些,不然有些模型会报错,内存超大或者有好独显的可以忽略其他一切OK,只是速度快慢问题,但不影响任何运行。

复制后面的命令:

ollama run llama3.1

根据选择的模型大小,等待下载,下载完成后会直接进入提问模式:

>>> Send a message (/? for help)
>>> llama是什么?
Llama 是一个由 Meta 开发的对话模型和语言理解技术,它可以用自然语言回答问题、进行对话、甚至创作文字或图片。

截止到现在,所有工作已经做完,可以开心的使用各类大模型进行研究了。