# 使用到的工具 - docker - oneapi + fastgpt - ollama # 安装docker > 已安装有docker的话跳过这一步执行命令安装docker（一行一行执行） ``` curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun systemctl enable --now docker ``` 执行命令安装docker-compose（速度会比较慢） ``` curl -L https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose chmod +x /usr/local/bin/docker-compose ``` 如果github很慢可以把地址替换成镜像站 ``` curl -L https://hub.nuaa.cf/docker/compose/releases/download/v2.20.3/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose ``` 等待安装结束后，执行命令启动docker `sudo systemctl start docker` 输入命令`docker -v`和`docker-compose -v`，若出现版本号信息则说明docker已经安装成功 ![image.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/5343c518534440f8b38a9f730cef824e~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=349&h=151&s=8552&e=png&b=0e1019) # 安装fastgpt fastgpt文档：https://doc.fastai.site/docs/
fastgpt官网提供了多种部署方式，这里我们选择使用Docker Compose快速部署

## 创建一个文件夹，然后进入这个文件夹，然后下载两个文件 ```js mkdir /usr/local/fastgpt cd /usr/local/fastgpt/ curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json ``` ![image.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/ddbfd75fc55b436eaab013eadc408de5~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1063&h=219&s=30192&e=png&b=0e1019) ## 执行命令启动容器（第一次启动会先下载所有镜像） ```js docker-compose up -d ``` ![image.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/a8c79be21e164ed39152bb1ca63cd77e~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1194&h=730&s=48598&e=png&b=0e1019) # 配置oneapi > 我们先不使用本地大模型，先使用第三方提供的线上版本去【[零一万物](https://platform.lingyiwanwu.com/)】注册一个账号，因为零一万物注册就送额度，不需要充钱，我们先拿它来做测试。
到api key管理页面获取一个key，这个key保存好后面要用到。 ![image.png](https://p9-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/8ce283cbf67e45578314bc19b159de28~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1132&h=537&s=61751&e=png&b=fefefe) 浏览器进入http://ip:3001 然后点击右上角登录
用户名：root；密码：123456，点击绿色登录 ![image.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/a86d8cf219c04dfb9d6ddb406f583d45~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1927&h=1039&s=100312&e=png&b=fdfdfd) 第一次登录会提示需要修改密码，可以不管它，直接点击上方导航栏的【渠道】 ![image.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/7cab1aa2a1264851999ebc18126fae93~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1927&h=1039&s=122722&e=png&b=fdfdfd) 点击添加新渠道 ![image.png](https://p9-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/ba33c754219e47e88ef380ac79eea605~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1195&h=430&s=50617&e=png&b=ffffff) 填写相关信息 ![image.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/51ba263a89e344259ee3dbc82cde8ab4~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1927&h=1033&s=168021&e=png&b=fefefe) 再点顶部导航栏【渠道】按钮，回到渠道列表页面
点击【测试】按钮，右上角出现成功提示，则说明配置成功了 ![image.png](https://p9-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/bef9f9070a0645b1bc950cca167296d3~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1927&h=1039&s=129109&e=png&b=fdfdfd) # 修改config.json oneapi配置成功后，接下来就是去fastgpt测试使用了，但是在这之前，需要修改之前下载的两个文件中的config.json文件，才能生效。找到llmModels字段，上面已经存在了几个配置，我们在后面复制粘贴一个，然后把model和name两个字段改成刚在oneapi上配置的，看图： ![image.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/f4750b50f8624dfab0bdac1308db96a6~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1572&h=883&s=578647&e=png&b=303842) 改完后保存，然后重启服务： ``` docker-compose down docker-compose up -d ``` ![image.png](https://p6-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/ec6f3637a7c744f6a375f9338f14edfa~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1228&h=313&s=37624&e=png&b=0e1019) # 配置fastgpt 浏览器进入http://ip:3000 ，进入fastgpt登录页面
账号root，密码1234，点击登录创建一个新应用 ![image.png](https://p6-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/9e4ad42e829245ad843339b42e5f62da~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1927&h=1039&s=155768&e=png&b=838383) 模型选择零一万物，这个零一万物就是刚才在config.json中配置出来的 ![image.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/c8870f6263554217b0f591f9efa8e876~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1927&h=1039&s=214276&e=png&b=848484) 点击【保存并预览】按钮，然后就可以对话了 ![image.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/27de4c18fbd94d37a50e56b2a1082a61~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1927&h=1039&s=221325&e=png&b=fcfcfc) # 安装ollama ok，使用线上第三方平台的大模型已经成功了，现在开始部署本地大模型来测试
进入ollama官网https://ollama.com/ 点击下载，下载自己系统的安装包，可以看到linux已经准备好命令了
直接使用官网给的命令下载`curl -fsSL https://ollama.com/install.sh | sh` ![image.png](https://p6-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/496bf94347524023baa8cd13040795dd~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1920&h=934&s=67505&e=png&b=fefefe) ![image.png](https://p6-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/32979ab69fc745089e4011ce1a67773a~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1111&h=276&s=32808&e=png&b=0e1019) ollama默认绑定的是127.0.0.1:11434，内网其他机器是无法访问的，需要修改环境变量，打开/etc/systemd/system/ollama.service文件，修改Environment的值为："OLLAMA_HOST=0.0.0.0" ![image.png](https://p6-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/a90d0ba0be974b3f8196dc9e405586cb~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1291&h=522&s=53856&e=png&b=1e1e1e) 保存，然后重启ollama服务 ``` systemctl daemon-reload systemctl restart ollama ``` 重启好后，在浏览器进入地址：http://ip:11434 看到如下界面说明ollama已经安装并且配置成功 ![image.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/c66ca5606f4547ffb4bf4c5cf3e94f1e~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=597&h=147&s=10809&e=png&b=f7f7f7) # 在ollama中安装大模型在ollama官网右上角可以搜索你想要的大模型，我搜索【qwen】，进入模型详情页后，可以选择版本，这里我选择了最低的版本，你们可以根据你们的服务器情况选择合适的版本，右边已经给出了下载模型的命令，复制执行。 ![image.png](https://p9-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/1e816e3fca2a4487b947f7049f18cc56~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1920&h=934&s=93297&e=png&b=ffffff) 模型下载好后会自动进入，这时候就可以进行对话了，按ctrl+D退出 ![image.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/c8cba654dadf4532a9cc480b9882096e~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1204&h=435&s=46710&e=png&b=0e1019) # 将本地模型接入oneapi中浏览器进入http://ip:3001 刚才有操作过的，新建一个渠道，填写相关内容
- 模型一栏选择【ollama】
- 名称随便写
- 模型这里要注意，首先先点击【清除所有模型按钮】，把自动填充的模型清除掉，然后在右侧输入框手动输入ollama里下载的模型名称，这个模型名称可以通过`ollama list`命令得到，名称一定要写完全一致，然后点击右侧【填入按钮】 ![image.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/ffc7764c7bcd4934a2bbbca6aa38b921~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1912&h=958&s=98889&e=png&b=ffffff) ![image.png](https://p9-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/8503161140cd47fca36a56ddd3611fa5~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=648&h=118&s=8704&e=png&b=0e1019) 继续填写： - 密钥：sk-key（固定写死就填这个） - 代理：http://ip:11434 （就是本地安装的ollama的地址） ![image.png](https://p6-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/be397233f6324438bdc8ca13e5d29e96~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1920&h=934&s=85932&e=png&b=ffffff) 点击提交，然后再回到渠道列表页，点击测试刚新添加的模型，右上角出现成功提示 ![image.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/fce465de9bfd44cd842107a1eb6de320~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1920&h=934&s=97586&e=png&b=ffffff) 接下来的步骤和之前测试零一万物时的步骤就一样了： 1. 在config.json中新添加一个配置 2. 重启服务 3. 在fastgpt中新建应用 4. 在这个应用中选择新添加的模型 5. 点击【保存并预览】按钮 6. 然后就可以在fastgpt中与本地的大模型对话了 ![image.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/fac00ec203d741809a8df2fb3f79b24f~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1927&h=1012&s=160119&e=png&b=303841) ![image.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/80c560ae52b84de3b6cc812ed07faa6d~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1927&h=1039&s=196335&e=png&b=fcfcfc) # 安装m3e向量模型，接入本地知识库与本地模型进行对话已经实现了，现在需要将大模型对接到本地的知识库，那么就要安装向量模型
使用docker安装，下载时间会比较长： ``` docker run registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest ``` ![image.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/a2bcc41ca70e46c993170fc095fcb973~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1090&h=405&s=48065&e=png&b=0e1019) 在oneapi中新建渠道，类型选择OpenAi，名称随便写，模型手动填入“m3e”，密钥写【sk-aaabbbcccdddeeefffggghhhiiijjjkkk】，代理写【http://ip:6008 】 ![image.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/4378fb7182604182ace75b99a7f87dbd~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1912&h=1027&s=112087&e=png&b=fdfdfd) 完成后去config.json中增加一个向量模型配置，这次和之前的不一样了，之前都是在llmModels里加的，向量模型需要加在vectorModels里；并且需要把之前新增的本地qwen模型中的datasetProcess改为true，这样在后续fastgpt中知识库中才能选到这个模型。 ![image.png](https://p9-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/d715734cacb64eca99f23f2fcc81c276~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1927&h=994&s=179955&e=png&b=303841) 重启服务后，进入fastgpt，知识库中新建一个知识库，索引模型选择刚新建的向量模型m3e，文件处理模型选择之前在ollama里安装的模型，然后点击【确认创建】按钮 ![image.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/f8ad7d874c7e47d889048ffdeed645ef~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1912&h=1027&s=126360&e=png&b=838383) 会默认有一个【手动录入】的文件夹，我们进这个文件夹手动录入一个数据测试 ![image.png](https://p9-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/10273f98292a435dbab28f464009c4e0~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1927&h=1039&s=171604&e=png&b=f4f6f9) 回到应用里，关联上这个知识库，然后点击【保存并预览】 ![image.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/01d1ede6e3c6427499f8163c20ab55bc~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1912&h=1027&s=175613&e=png&b=fbfbfb) 就可以进行对话了，问一些刚才在知识库里相关的问题 ![image.png](https://p6-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/c8330f533a61427c902d449c5b310e7a~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1912&h=1027&s=185938&e=png&b=fcfcfc) 也可以往知识库里上传一份文档让它分析 ![image.png](https://p6-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/efc61cc97853440881cd579039eeabc8~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1912&h=1027&s=291003&e=png&b=fafafa) 上传后等待索引完成，就可以回应用里问问题了 ![image.png](https://p6-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/74afc7255c254ca591f08142962beb82~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1912&h=1027&s=108407&e=png&b=fafafb) ![image.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/e7b30e6c14d74164a53eaf6d55613f76~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1912&h=1027&s=188290&e=png&b=fcfcfc) > 可以看到目前回答的还不太理想，后续可以使用高级编排功能，或者更换其他语言模型尝试 # 通过高级编排接入接入自己的业务系统 https://juejin.cn/post/7369397062863224883