llama3+web_ui+open_interpreter搭建教程

1,243 阅读3分钟
声明:本教程借鉴了下面两篇文章,以及官方文档

       llama3本地环境配置(Ollama+open-webui) - 知乎 (zhihu.com)

       如何用 Llama 3 免费本地 AI 分析数据和可视化? - 知乎 (zhihu.com)

       Setup - Open Interpreter

硬件要求:

       内存:8G以上(最好16G或者32G)

       硬盘:5G以上的空间

一、llama3:8b 安装教学

1.介绍

llama3:8b是一个基于大语言模型(LLaMA)架构的模型,它是由 Meta Research 在 2022 年提出的一种预训练语言模型。

llama3:8b 模型具有以下特点:

1.架构:它使用 LLaMA 架构,这是一个基于 transformer 的架构,旨在处理长文本和多任务学习。

2.参数数量:模型拥有 8.3 亿个参数,是一个非常大的模型。

3.预训练:模型经过了大规模的预训练数据集的训练,包括 Common Crawl、Wikipedia 和 BookCorpus 等数据源。

4.性能:llama3:8b模型具有很高的语言理解和生成能力,可以用来进行文本分类、语言翻译、文本生成等任务。

 

2.安装ollama

ollama官网: ollama.com/

image001.png

点击Download下载

image003.png 下载完成后进行软件的安装,安装成功之后,你可以在右下角中看到一个羊驼的图标,这样就安装成功了。

image005.png

然后需要你打开命令行(cmd),运行这条命令 ollama run llama3:8b

       第一种方法:打开命令行的方法win键+R键,调出“运行”输入cmd回车即可打开命令行。

image007.png

第二种方法:如图

image009.png

 

运行ollama run llama3:8b这条命令之后,ollama会自动为你下载llama3:8b这个模型,根据网速不同下载速度也有差异,慢慢等待就好了,ollama会把模型默认下载到c盘,想更改模型下载位置,看第一篇文章。

image011.png

下载完成后出现“>>>”,测试一下可以正常回答即可,在命令行中输入 /bye 即可退出。

注意:下载一次后无需二次下载,再次运行ollama run llama3:8b即可使用。

image013.png

二.open-webui

安装

1.环境安装不做讲解,有需要可以自行去查文章安装即可。

环境要求:

Node.js >= 20.10 or Bun >= 1.0.21

Python >= 3.11

  1. open-webui

在你要安装open-webui目录中,在地址位置输入PowerShell然后回车,打开命令行。

image015.png

第一种方法:如果有git(如果我不知道我在说什么,直接看第二中方法),可以直接把代码拉下来,运行下面的命令即可运行成功。

git clone https://github.com/open-webui/open-webui.git

cd open-webui/
cp .env.example .env

npm i
npm run build

cd .\backend
pip install -r requirements.txt -U
.\start_windows.bat

 

第二种方法:

用浏览器打开github.com/open-webui/…这个链接,

如果打不开或者打开很慢,那你可以尝试魔法上网(科学上网)。

image017.png

压缩包下载到你要安装的目录后解压,解压之后有一个这样的文件。

image019.png

打开PowerShell命令行之后,运行下面的命令即可

cd open-webui/
cp .env.example .env

npm i
npm run build

cd .\backend
pip install -r requirements.txt -U
.\start_windows.bat

运行.\start_windows.bat命令后等待一段时间

出现下面的界面,在浏览器输入http://localhost:8080/,即可打开(如何玩,自行探索)

image021.png

三、open-interpreter(开放式解释器)

安装

环境要求:

       Python版本:3.10 or 3.11

 

直接在命令行中运行下面这段命令,即可安装成功

pip install open-interpreter

 

警告:在启动interpreter时不能魔法上网不然会报下面的错误

image023.png

 

安装成功之后运行interpreter这命令即可打开,默认使用GPT4启动,需要GPT4的key。

那么我们如何让interpreter 运行llama3:8b呢?

 

很简单只需要在interpreter 后面加上 --model llama3:8b运行即可

interpreter --model llama3:8b

image025.png

  注意:如果启动时遇到了下面的报错

image027.png

我的解决方案是更新一下interpreter

运行下面这条命令

pip install --upgrade open-interpreter。

四、注意事项

至于这些工具怎么玩,那就要靠你自己自行探索咯(手动滑稽)。