在人工智能和自然语言处理领域，大型语言模型（LLMs）如GPT-3、LLaMA等已经展示了强大的能力。然而，这些模型通常需要大量的计算资源，并且依赖于云端服务。如果你希望在本地运行这些模型，Ollama是一个值得关注的开源工具。本文将介绍Ollama的基本概念、优势以及如何安装和使用它。
什么是Ollama？
Ollama是一个开源项目，旨在让用户能够在本地计算机上运行大型语言模型。它通过优化模型推理过程，使得即使在没有高端GPU的情况下，用户也能在本地运行这些模型。Ollama支持多种流行的语言模型，如LLaMA、GPT-J等，并且提供了简单的命令行界面，方便用户快速上手。
Ollama的优势
- 本地运行：Ollama允许你在本地计算机上运行大型语言模型，无需依赖云端服务。这不仅提高了隐私性，还减少了网络延迟。
- 资源优化：Ollama通过优化模型推理过程，使得在资源有限的设备上也能运行这些模型。这意味着你可以在没有高端GPU的情况下使用Ollama。
- 多模型支持：Ollama支持多种流行的语言模型，如LLaMA、GPT-J等。你可以根据需要选择不同的模型进行实验和应用。
- 简单易用：Ollama提供了简单的命令行界面，用户可以通过几条命令轻松地安装和运行模型。
如何安装Ollama
下面分别介绍Linux、Mac、Windows环境的安装方法，根据自己环境选一即可
Linux 环境
安装有最简单的一键式命令，如下
| 1 | curl -fsSL https:``//ollama``.com``/install``.sh | sh |
| - | -------------------------------------------------------- |
但是通常这个命令安装会遇到墙的问题，会存在各种失败的情况，就需要进行手工安装。其实从这个安装脚本的内容，也能看出具体的安装步骤。下面以Linux为例进行手工安装。
首先下载安装包
| 1 | curl -L https:``//ollama``.com``/download/ollama-linux-amd64``.tgz -o ollama-linux-amd64.tgz |
|---|
解压缩命令到usr目录 ，因为目录结构之后lib和bin ,所以到目录下不会有直接的目录
| 1 | sudo tar -C ``/usr |
|---|
启动ollama
| 1 | ollama serve |
|---|
在另外一个窗口可以看是否启动成功
把ollama 添加到系统服务中
| 12 | sudo useradd -r -s ``/bin/false -U -m -d ``/usr/share/ollama ollama``sudo usermod -a -G ollama $(``whoami``) |
|---|
创建启动文件 /etc/systemd/system/ollama.service
| 1234567891011121314 | [Unit]``Description=Ollama Service``After=network-online.target [Service]``ExecStart=``/usr/bin/ollama serve``User=ollama``Group=ollama``Restart=always``RestartSec=3``Environment=``"PATH=$PATH" [Install]``WantedBy=default.target |
|---|
通过命令就可以启动并验证ollama的状态
| 12 | sudo systemctl start ollama``sudo systemctl status ollama |
|---|
自定义配置ollama 比如ollama安装后默认监听的地址是 127.0.0.1, 为了方便使用，可以修改地址成0.0.0.0 这样就能在所有能访问到这台机器的电脑上访问了。
| 1 | sudo systemctl edit ollama |
|---|
| 12 | [Service]``Environment=``"OLLAMA_HOST=0.0.0.0:11434" |
|---|
保存命令和shell不太一样，当时提示的比较清楚，按enter就可以保存到/etc/systemd/system/ollama.service.d/override.conf了。可以重启服务验证下
| 1234 | sudo systemctl daemon-reload``sudo systemctl restart ollama sudo systemctl show ollama | ``grep Environment |
| ---- | ------------------------------------------------------------------------------------------------------------------------ |
Mac环境
1、下载Ollama，到官网 https://ollama.com/ 点击 Down
直接下载即可
安装完，在命令行输入 ollama 回车，可以验证是否成功。比较简单，不再赘述。
Windows环境
同Mac环境，只是在下载的时候，选择Windows，下载完点击安装，一步步即可。安装完win+R ，输入ollam，检查是否安装完成。
原文地址：https://www.cnblogs.com/xd502djj/p/18698621
