算力平台租用部署

103 阅读2分钟

两块钱一个小时租用RTX4090服务器

image.png

安装Docker

在Ubuntu 20.04上安装Docker可以通过以下步骤完成:

更新软件包索引

打开终端并执行命令以确保你的软件包索引是最新的。

bash

sudo apt-get update

安装一些必要的软件包,以便apt能够通过HTTPS使用仓库:

bash

sudo apt-get install apt-transport-https ca-certificates curl software-properties-common

添加Docker的官方GPG密钥

这一步是为了确保你从Docker下载的软件是安全可靠的。

bash

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

设置稳定的仓库

添加Docker的APT仓库到你的系统中。

bash

sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"

再次更新软件包索引

因为你刚添加了一个新的仓库,所以需要再次更新软件包索引。

bash

sudo apt-get update

从新添加的仓库中安装Docker CE

现在你可以安装最新的Docker版本了。

bash

sudo apt-get -y install docker-ce

验证Docker是否安装成功

安装完成后,运行下面的命令来确认Docker已经正确安装并且可以正常工作。

bash

sudo docker --version

(可选)修改docker的数据目录

默认docker的镜像和容器存储都在/var/lib/docker目录下,如果系统盘空间较小,建议将docker数据目录调整到其他可用空间更大的目,避免系统盘空间不足。详细操作步骤请查看Docker数据目录

安装Ollama

在Ubuntu 20.04上安装Ollama可以通过以下步骤完成:

执行如下命令进行Ollama安装,打开终端并执行命令。

curl -fsSL https://ollama.com/install.sh | sh

返回如下提示,显示安装完毕。

bash

>>> Installing ollama to /usr/local
>>> Downloading Linux amd64 bundle
######################################################################## 100.0%
>>> Creating ollama user...
>>> Adding ollama user to render group...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
WARNING: systemd is not running
>>> NVIDIA GPU installed.
>>> The Ollama API is now available at 127.0.0.1:11434.
>>> Install complete. Run "ollama" from the command line.

修改配置文件/etc/systemd/system/ollama.service,在[service]部分增加如下环境变量,以便其他服务可以直接访问ollama的api:

bash

Environment="OLLAMA_HOST=0.0.0.0:11434"

启动ollama服务,并设置开机启动:

bash

systemctl status ollama 
systemctl start ollama 
systemctl enable ollama

修改配置文件,可以通过重启ollama生效

bash

systemctl daemon-reload 
systemctl restart ollama

拉去一个小模型qwen2.5:1.5b,使用提示词,验证ollama服务。

bash

ollama pull qwen2.5:1.5b
ollama pull qwen2.5:14b
ollama pull bge-m3
ollama run qwen2.5:1.5b