ollama + fastgpt+m3e本地部署

183 阅读3分钟

开启WSL

因为这里使用的win部署,所以要安装wsl,如果是linux系统就没那么麻烦 控制面板->程序->程序和功能在这里插入图片描述在这里插入图片描述

更新wsl

wsl --set-default-version 2

wsl --update--web-download

安装ubuntu

wsl --install -d Ubuntu `

docker下载

官网下载:docker官网

修改docker镜像源

因为docker下载的镜像源默认是国外的地址,所以下载比较慢,换成国内的镜像源下载会比较快一点

` {

"registry-mirrors":[

"docker.m.daocloud.io",

"docker.1panel.live",

"hub.rat.dev"

]

} `

在这里插入图片描述

开启WSL integration

在这里插入图片描述

安装fastgpt

先创建一个文件夹来放置一些配置文件mkdir fastgpt cd fastgpt

用命令下载fastgpt配置文件`

QQ_1750917397036.png

这里如果是测试的话就用简单模型就好了,其他的高级玩法后面再慢慢摸索

启动容器码助手代码解读复制代码docker-compose up -d

QQ_1750917431854.png

ollama下载这里就不做说明了,因为现在ollama下载比较简单,需要的话,我再出博客讲解

oneapi配置

模型的处理我们只要用的是oneapi来处理模型

登录oneapi

本机地址:http://localhost:3001/

oneapi登录账号:root 默认密码:123456或者1234

配置ollama渠道

在这里插入图片描述base url那里的ip要换成本地ip 模型那里选择的模型要选择你本地ollama下载的模型 密钥可以随便填 添加完渠道,记得要点一下测试,测试通过了才能正常使用

配置渠道m3e

在这里插入图片描述base url要像我这样填写才行,不然回出问题 模型要选m3e 密钥填:sk-aaabbbcccdddeeefffggghhhiiijjjkkk 这里提交之后也要点测试,看能不能通

创建令牌

在这里插入图片描述这里记得选无限额度和永不过期

在这里插入图片描述这里复制令牌放置docker-compose.yml文件中

QQ_1750917473412.png

在这里插入图片描述

修改config.json

首先是加入ollama的本地模型

QQ_1750917513077.png

QQ_1750917540052.png

像我用的是qwen2.5,你们可以根据自己的模型进行选择

然后加入向量模型vectorModels

QQ_1750917558170.png

重启容器

docker-compose down

docker-compose up -d `

FastGTP配置与使用

登录

本机地址:http://localhost:3000

账号:root       密码:1234

在这里插入图片描述

新建知识库

在这里插入图片描述在这里插入图片描述这里选用通用知识库 索引模型也就是向量模型 文件处理模型就是用来做回答的模型

训练模型

在这里插入图片描述

因为我这里使用的是本地文件去训练,所以要选择 文本数据集

在这里插入图片描述这里是分割数据的模型,用自动模式就好了

在这里插入图片描述

这样就是训练好了,这里之前我踩过一个坑,就是一直在训练然后一条数据都没有,这个一般都是向量模型的问题,向量模型选错了,或者是向量模型没办法访问,所以上面配置渠道的时候一定要测试的原因就是这样的

创建应用

在这里插入图片描述这里测试的话就用简单应用就好了

这里选择模型,选择完之后就可以用了!

image.png

注意:以上只是最初级的玩法,要知识库好用的话,还得慢慢研究