DeepSeek R1模型本地化部署+添加知识库训练AI教程

313 阅读4分钟

图片DeepSeek R1模型本地化部署+投喂数据训练AI教程

封面 I DeepSeek R1

作者 I 维客

报道 I 维客

前言

对于想要在本地或自托管环境中运行 LLM 的用户而言,Ollama 提供了一个无需 GPU、在 CPU 环境也可高效完成推理的轻量化 “本地推理” 方案。而要让 Ollama 真正 “接地气”,往往需要与其他开源项目进行配合——例如将文档、数据源或应用前端与 Ollama 打通,这便衍生出许多解决方案。

安装 Ollama 客户端

官网下载地址:registry.ollama.ai/

直接下载速度太慢,使用加速,GitHub Proxy 代理加速

ghfast.top/)【实测速度超快】:
mirror.ghproxy.com/https://git…

文末提供了软件的网盘下载!

image.png

配置环境变量

在D盘新建一个文件夹命名为 OllamaAI,然后 打开系统环境变量,新建变量名:OLLAMA_MODELS 变量值:D:\OllamaAI,设置完成后重启电脑。温馨提示: 此步主要是解决 Ollama默认下载模型到C盘问题,若C盘空间足够大的小伙伴此步骤可略过。图片

DeepSeek-R1简介

DeepSeek-R1,是深度求索(DeepSeek)研发的推理模型,本地部署后完全免费,无使用次数限制。DeepSeek-R1采用的大规模强化学习技术,尤其擅长数学、代码和自然语言推理等复杂任务。DeepSeek-R1系列模型(1.5b~671b)开源且免费,进一步降低了AI应用门槛,赋能开源社区发展。

用 Ollama 下载模型

接下来点击 Ollama 官网左上方的 “Models” 按钮,会列出支持的各种模型,目前最火的 DeepSeek-R1 排在显眼位置,点击进入主题页面:

图片

点击进去后,查看各个模型,不同模型执行的命令不同,最后部分看你选择的参数模型。

1.5b命令:ollama run deepseek-r1:1.5b
7b命令:ollama run deepseek-r1:7b
8b命令:ollama run deepseek-r1:8b
14b命令:ollama run deepseek-r1:14b
32b命令:ollama run deepseek-r1:32b
70b命令:ollama run deepseek-r1:70b
671b命令:ollama run deepseek-r1:671b

DeepSeek R1 提供多个版本,参数量越大,模型通常越强大,但也需要更多的计算资源,比如 1.5B 代表有 15 亿个参数。具体选择哪一个看你硬件设备了。

图片

将本机的电脑配置发给 deepseek,看看它的推荐是哪个模型

图片图片图片

选择好模型之后,点击右侧这个按钮,复制指令,这里是:ollama run deepseek-r1:14b

图片在 Windows 搜索栏输入 “cmd” 回车,唤出命令行窗口。

粘贴运行刚才复制的命令,开始下载,14b 模型容量大约 9GB,请保持网络畅通:

图片

当界面出现 success 显示安装成功。输入 “你是谁”,看到 deepseek 的回答。

图片在CMD新窗口中输入命令:ollama pull nomic-embed-text回车下载nomic-embed-text嵌入式模型(后面做数据投喂会用到)。图片

AnythingLLM 简介

AnythingLLM

  • 定位:将本地文档或数据源整合进一个可检索、可对话的知识库,让 AI 助手 “懂你” 的资料。
主要功能:
  • 文档管理:将 PDF、Markdown、Word 等多格式文件索引进系统。
  • 智能检索:可基于向量数据库搜索相关文档片段,并在聊天时自动引用。
  • 界面 +API:既提供用户友好的前端管理界面,也能通过 API 与其他系统集成。
对接 Ollama 思路:
  • 在配置文件或启动脚本中,将 “语言模型推理” 后端地址指定为 Ollama 的本地服务。
  • 当用户发起提问时,AnythingLLM 会先做知识检索,再将检索到的上下文发送给 Ollama 做语言生成。
适用场景:
  • 企业内部文档问答、个人知识管理、高度依赖文本内容的问答场景。

下载 Anything LLM

官网下载:anythingllm.com/desktop

图片

安装 Anything LLM

图片图片图片如果提示这个错误,目前比较好的方式是使用魔法就可以正常安装完图片忽视这个错误也可以尝试运行程序跑一下

AnythingLLM 配置

图片图片图片图片图片

如何投喂数据(训 AI)

点击按钮开始添加文档,并将文档 Move to Workspace,然后点击 Save and Embed,出现 Workspace updated successfully 就表示配置已经完成。

图片图片

验证效果

图片

软件下载

[软件名称]:DeepSeek-R1

[软件大小]:999.3M/808M

[安装环境]:Win

[下载通道①百度盘链接]:

pan.baidu.com/s/10e-dX4Dg…