Llama3，作为Meta公司新发布的大型语言模型，在人工智能领域引起了广泛的关注。特别是其8B（80亿参数）版本，在性能上已经超越了GPT-3.5，而且由于是开源的，用户可以在自己的电脑上进行部署。
本文和大家分享一下如何在个人电脑上部署Llama3，拥有你自己的GPT-3.5+!
很多读者担心本地部署时个人电脑的硬件配置不够，实际上这种担心是多余的，笔者使用的是游戏本，主要通过GPU跑大模型(建议8g起步，CPU也可以，不过比较慢)，硬件配置如下：
- CPU i9-12900HX 16核24线程
- GPU RTX4060-8G
- RAM 32G
步骤大致如下：
- 安装Ollama
- 安装Docker Desktop
- 下载WebUI
- 下载Llama3并切换模型
一、安装Ollama
1.下载Ollama
Ollama，支持多平台！Windows / Mac /Linux 都可以运行 【点击下载】
笔者这边是windows，读者们根据自己的环境，点击下载
2.安装
双击下载好的.exe文件，点击install
当电脑右下角弹窗出现下图，即已安装完成
二、Windows电脑打开WLS功能
- 点击windows搜索
- 输入启用或关闭windows功能
- 点击运行
- 弹出windows功能界面
- 勾选-适用于Linux的Windows子系统
- 点击确定
- 配置完成后需要立即重启电脑
三、安装Docker Desktop
1.下载
Docker Desktop 【点击前往】
2.安装
双击下载好的.exe文件，点击ok，会自动安装docker环境
安装好后点击重启电脑
重启后会自动运行docker桌面版，点击Finish
看到如下界面代表已经安装完成，完成后会提示让我们注册docker账号，忽略就行
四、本地安装webUI
1. 打开windoiws搜索
输入cmd，运行
2. 选择运行方式
将代码复制，右键粘贴进终端，按回车，会自动下载并安装Webui，笔者这边选择GPU方式
a.在CPU下运行
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
b.在GPU下运行
docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
3. 下载会比较慢
建议提前做好全局科学上网
如下图即已在下载安装中
4. 提示弹窗，点击允许
5. 如下图显示即已安装完成
6. 通过地址访问
安装完成通过本地地址在浏览器端：http://127.0.0.1:3000 进行访问，看到如下图所示，即成功访问
五、使用
1. 注册
点击Sign up
名称随便填写，邮箱确保输入正确，输入好后点击创建，创建成功后会自动跳转至聊天对话页面
2. 切换中文
点击设置图标，找到语言，选择chinese，点击保存
3. 下载模型
点击设置，点击模型，点击可下载的模型
这边选择llama3
选择8b（8b，80 亿参数）
70b的模型建议4090显卡再上
将llama3:8b 复制出来，粘贴至下方如图所示，再点击下载（可同时下载多个模型）
当进度条为100%时，模型下载成功
4. 切换模型
点击主界面选择模型，选择llama3:8b，至此，模型切换成功
六、效果展示
输入
输出
七、总结
1. 优点
- 本地部署大模型可带来飞一般的体验，可降低延迟
- 可微调属于私人的大模型
- 数据安全得以保证
2. 缺点
- 对硬件要求比较高，是个头疼的问题
- 大规模模型的训练和推理过程耗能巨大，可能对环境造成一定影响
