声明:本教程借鉴了下面两篇文章,以及官方文档
llama3本地环境配置(Ollama+open-webui) - 知乎 (zhihu.com)
如何用 Llama 3 免费本地 AI 分析数据和可视化? - 知乎 (zhihu.com)
硬件要求:
内存:8G以上(最好16G或者32G)
硬盘:5G以上的空间
一、llama3:8b 安装教学
1.介绍
llama3:8b是一个基于大语言模型(LLaMA)架构的模型,它是由 Meta Research 在 2022 年提出的一种预训练语言模型。
llama3:8b 模型具有以下特点:
1.架构:它使用 LLaMA 架构,这是一个基于 transformer 的架构,旨在处理长文本和多任务学习。
2.参数数量:模型拥有 8.3 亿个参数,是一个非常大的模型。
3.预训练:模型经过了大规模的预训练数据集的训练,包括 Common Crawl、Wikipedia 和 BookCorpus 等数据源。
4.性能:llama3:8b模型具有很高的语言理解和生成能力,可以用来进行文本分类、语言翻译、文本生成等任务。
2.安装ollama
ollama官网: ollama.com/
点击Download下载
下载完成后进行软件的安装,安装成功之后,你可以在右下角中看到一个羊驼的图标,这样就安装成功了。
然后需要你打开命令行(cmd),运行这条命令 ollama run llama3:8b
第一种方法:打开命令行的方法win键+R键,调出“运行”输入cmd回车即可打开命令行。
第二种方法:如图
运行ollama run llama3:8b这条命令之后,ollama会自动为你下载llama3:8b这个模型,根据网速不同下载速度也有差异,慢慢等待就好了,ollama会把模型默认下载到c盘,想更改模型下载位置,看第一篇文章。
下载完成后出现“>>>”,测试一下可以正常回答即可,在命令行中输入 /bye 即可退出。
注意:下载一次后无需二次下载,再次运行ollama run llama3:8b即可使用。
二.open-webui
安装
1.环境安装不做讲解,有需要可以自行去查文章安装即可。
环境要求:
Node.js >= 20.10 or Bun >= 1.0.21
Python >= 3.11
- open-webui
在你要安装open-webui目录中,在地址位置输入PowerShell然后回车,打开命令行。
第一种方法:如果有git(如果我不知道我在说什么,直接看第二中方法),可以直接把代码拉下来,运行下面的命令即可运行成功。
git clone https://github.com/open-webui/open-webui.git
cd open-webui/
cp .env.example .env
npm i
npm run build
cd .\backend
pip install -r requirements.txt -U
.\start_windows.bat
第二种方法:
用浏览器打开github.com/open-webui/…这个链接,
如果打不开或者打开很慢,那你可以尝试魔法上网(科学上网)。
压缩包下载到你要安装的目录后解压,解压之后有一个这样的文件。
打开PowerShell命令行之后,运行下面的命令即可
cd open-webui/
cp .env.example .env
npm i
npm run build
cd .\backend
pip install -r requirements.txt -U
.\start_windows.bat
运行.\start_windows.bat命令后等待一段时间
出现下面的界面,在浏览器输入http://localhost:8080/,即可打开(如何玩,自行探索)
三、open-interpreter(开放式解释器)
安装
环境要求:
Python版本:3.10 or 3.11
直接在命令行中运行下面这段命令,即可安装成功
pip install open-interpreter
警告:在启动interpreter时不能魔法上网不然会报下面的错误
安装成功之后运行interpreter这命令即可打开,默认使用GPT4启动,需要GPT4的key。
那么我们如何让interpreter 运行llama3:8b呢?
很简单只需要在interpreter 后面加上 --model llama3:8b运行即可
interpreter --model llama3:8b
注意:如果启动时遇到了下面的报错
我的解决方案是更新一下interpreter
运行下面这条命令
pip install --upgrade open-interpreter。
四、注意事项
至于这些工具怎么玩,那就要靠你自己自行探索咯(手动滑稽)。