CPU: AMD Ryzen 5 3600X 6-Core Processor 4.10 GHz
RAM: 16G
GPU: 8G
DISK: SSD 100 G Free
基于上述自身条件,装llama-3 8b版本比较实际。
整个安装使用Ollama,5分钟安装完成正常运行
用Ollama运行llama-3
点击这里下载 Ollama Windows Preview版本。我下载msi包,完成下载后直接安装
完成安装后直接打开命令行提示符或者Power Shell。运行
Copy
# 由于ollma运行模型时只支持localhost和127.0.0.1访问,所以还要设置一下局域网内可访问,即设置环境变量OLLAMA_HOST为0.0.0.0
setx OLLAMA_HOST "0.0.0.0"
ollama run llama3:8b
ollama run qwen2:0.5b
#更改ollama下载的模型存放的地址 ```
setx OLLAMA_MODELS "D:\ollama_model"
等待ollama下载llama3完成并运行,成功运行后显示success
可以去ollama.com/search?q=qw…找自己需要的模型
这样就可以在命令行中进行问答。
# 增加Web UI
如果需要一个像ChatGPT网页版那样的UI界面,还需要多做一步,就是安装Open WebUI, 直接到他们的[github代码库](http://https//github.com/open-webui/open-webui?tab=readme-ov-file)上去看安装指导,用Docker安装非常简单,我本地用的WSL2,所以用WSL2跑Open WebUI. 运行以下命令就行
docker pull ghcr.io/open-webui/open-webui:main docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://宿主机IP:11434 -v open-webui:/app/backend/data -e HF_ENDPOINT=https://hf-mirror.com --name open-webui --restart always ghcr.io/open-webui/open-webui:main
安装结果如下:

然后,浏览器(edge最佳)里输入 <http://localhost:3000/> 就可以看到运行起来的网页版了。

**结语**
这样,llama-3就在短时间之内在本地搭建起来了,不过体验下来,8b还是差了点意思,首先中文支持确实不大友好,再就是也经常扯淡答非所问。所以玩玩可以,真正干活还是要用大参数版本的。
如果加载不出来页面去edge浏览器