本文由 本人CSDN 转码， 原文地址AI大模型本地化部署文档（windows环境）_bge-m3:latest-CSDN博客
一、技术选型：
ollama：AI 大模型本地服务
deepseek-1:32b ：推理大模型，用于对话聊天
bge-m3:latest ：文本嵌入大模型，用于本地文档建立 RAG 知识库
minicpm-v ：多模态大模型，用于文件图片视频分析
docker：虚拟化容器，用于运行 dify
dify：开源的大语言模型（LLM）应用开发平台，生成式 AI 应用的创建、部署与持续优化
二、硬件需求
CPU：i9-14900k 24 核 / 32 线程 或同级别 E 系列服务器 CPU
内存：64G DDR5 双通道
显卡：RTX3090 24G *1(最低，测试用) RTX3090 24G *2（推荐，高精度，可多人并发使用，符合实际使用情况）
硬盘：2T 固态
主板：服务器主板 / 2 个 CPU 位 / 4 个以上内存卡槽 / 3 个以上 PCIe3.0 卡槽 / 2 个 NVMe 卡槽 / 2 个千兆以太网口
系统：linux/windows server 2022/windows10/11
演示机器规格：
CPU：i7-12700F 2.10 GHz 12 核 20 线程
内存 ：16G DDR5 双通道
显卡：RTX3060TI 12G *1
硬盘：1T 固态
系统：windows 10
三、搭建步骤【主要安装包已经放入同级文件夹中】
1. 下载安装 ollama，拉取模型
1.1 下载
或
1.2 安装 ollama
将下载的文件 OllamaSetup.exe 安装
1.3 验证是否安装成功
ollama -v
1.4 拉取模型
#deepseek 模型
cmd 命令：ollama run deepseek-r1:32b
#bge-m3 模型
cmd 命令：ollama run bge-m3:latest
#minicpm-v 模型
cmd 命令：ollama runaiden_lu/minicpm-v2.6:Q4_K_M 或 minicpm-v
1.5 查看拉取的模型
ollama list
2. 下载安装 docker
2.1 下载
下载链接：Docker: Accelerated Container Application Development
2.2 安装
将下载的文件 Docker Desktop Installer.exe 安装，
鼠标右键，以管理员身份运行
2.3 验证
命令：docker -v
2.4 配置国内镜像源
"registry-mirrors": [
"DockerHub 镜像加速器 - 免费 Docker 镜像源国内加速 - DockerHub 加速国内解决方案 "
]
如果镜像源不可用，则跟换可用镜像源
3. 在 docker 中拉取 dify 的镜像
3.1 下载 dify
3.2 拉取
解压下载的 zip 压缩包
找到该文件夹下的文件
dify-main -> docker -> .env.example
将该文件重命名命名为
.env
打开. env 文件在末尾添加
#启用自定义模型
CUSTOM_MODEL_ENABLED=true
OLLAMA_API_BASE_URL=host.docker.internal:11434
在该文件所在的文件夹下，鼠标右键点击 在终端中打开
在 docker 打开的前提下，在命令框中输入以下命令，将 dify 上传到 docker
docker compose up -d
3.3 验证
打开 Docker Desktop，可看到上传的镜像
4. 在 dify 中设置模型，搭建知识库，创建应用
4.1 打开界面
浏览器登录，打开以下链接：http://localhost/signin
4.2 添加大模型
登录后，点击右上角头像 -> 设置，依次添加 deepseek/bge-m3/minicp
4.3 创建知识库
拖拽文件，创建知识库
4.3 创建应用
4.4 创建自定义的工作流，组合使用 AI 大模型和各类工具知识库
使用效果展示
4.5 API 接口使用
API 文档
创建 API 秘钥
前端调用接口
