Ollama安装llama3和qwen2

642 阅读2分钟

CPU: AMD Ryzen 5 3600X 6-Core Processor 4.10 GHz
RAM: 16G
GPU: 8G
DISK: SSD 100 G Free

基于上述自身条件,装llama-3 8b版本比较实际。

整个安装使用Ollama,5分钟安装完成正常运行

用Ollama运行llama-3

点击这里下载 Ollama Windows Preview版本。我下载msi包,完成下载后直接安装

完成安装后直接打开命令行提示符或者Power Shell。运行

Copy
# 由于ollma运行模型时只支持localhost和127.0.0.1访问,所以还要设置一下局域网内可访问,即设置环境变量OLLAMA_HOST为0.0.0.0
setx OLLAMA_HOST "0.0.0.0"
ollama run llama3:8b
ollama run qwen2:0.5b
#更改ollama下载的模型存放的地址 ``` 
setx OLLAMA_MODELS "D:\ollama_model"

等待ollama下载llama3完成并运行,成功运行后显示success

可以去ollama.com/search?q=qw…找自己需要的模型
这样就可以在命令行中进行问答。


# 增加Web UI

如果需要一个像ChatGPT网页版那样的UI界面,还需要多做一步,就是安装Open WebUI, 直接到他们的[github代码库](http://https//github.com/open-webui/open-webui?tab=readme-ov-file)上去看安装指导,用Docker安装非常简单,我本地用的WSL2,所以用WSL2跑Open WebUI. 运行以下命令就行

docker pull ghcr.io/open-webui/open-webui:main docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://宿主机IP:11434 -v open-webui:/app/backend/data -e HF_ENDPOINT=https://hf-mirror.com --name open-webui --restart always ghcr.io/open-webui/open-webui:main


安装结果如下:

![image](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/73690e5b6e61490c9b4dab9518538a20~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1442&h=498&s=73340&e=png&b=0d0d0d)

然后,浏览器(edge最佳)里输入 <http://localhost:3000/> 就可以看到运行起来的网页版了。

![image](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/afcfe90c47034078887e8bb7f10fee7f~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1127&h=627&s=40799&e=png&b=171717)

**结语**

这样,llama-3就在短时间之内在本地搭建起来了,不过体验下来,8b还是差了点意思,首先中文支持确实不大友好,再就是也经常扯淡答非所问。所以玩玩可以,真正干活还是要用大参数版本的。
 如果加载不出来页面去edge浏览器