fastgpt要结合oneapi才能对接到ollama,所以这里用dify,一键部署就好
这里部署在windows服务器上
驱动+cuda+cuDNN
win10自动装好了显卡驱动,需要手动把cuda和加速库给装上
developer.nvidia.com/rdp/cudnn-a…
developer.nvidia.com/cuda-toolki…
先确定显卡支持的cuda版本
找到对应的版本,系统显示显卡支持12.2.79,这里选cuda 12.2的最后一个版本12.2.2
在选择自己的系统版本下载,然后安装
然后下载cuDNN加速库,对应选择支持12.x的版本,需要先注册才能下载,稍微填写一些信息即可
解压后将文件复制到cuda的安装目录\
安装docker-desktop
docker: www.docker.com/products/do…
直接下载安装即可,会自动安装docker-compose
安装ollama
下载ollama
ollama.com/download
安装以后是通过命令行来操作的\
ollama ls #展示现有模型
ollama run qwen:7b #启动模型,本地没有的会去线上下载
ollama pull qwen:7b #下载模型
SHELL
**
**
ollama的模型库,展示了支持的模型
ollama.com/library
配置系统环境变量(可选)
ollama默认只能在本机访问,默认是11434端口,如果要修改成公开访问就需要配置系统环境变量
在windows桌面搜索"编辑系统环境变量"
新建系统环境变量
OLLAMA_HOST :0.0.0.0
修改模型存储路径
OLLAMA_MODELS ： F:\OllamaCache
修改端口
OLLAMA_HOST ::8000
安装dify
dify: dify.ai/zh
帮助文档: docs.dify.ai/v/zh-hans/g…
github: github.com/langgenius/…
下载最新的发行版
打开命令行,进入到对应目录,运行构建命令,我这里已经安装好了,如果没有安装过的会自动下载镜像
docker compose up -d
安装完成后就可以通过浏览器进行访问
首次访问会需要注册管理员账号
接入ollama,在设置中添加模型,地址要填本机的地址,不能是127.0.0.1,docker请求会不到
创建知识库,可以参考官方文档合成知识库数据, docs.dify.ai/v/zh-hans/l…
创建应用,选择知识库
