DeepSeek R1模型本地化部署+投喂数据训练AI教程
封面 I DeepSeek R1
作者 I 维客
报道 I 维客
前言
对于想要在本地或自托管环境中运行 LLM 的用户而言,Ollama 提供了一个无需 GPU、在 CPU 环境也可高效完成推理的轻量化 “本地推理” 方案。而要让 Ollama 真正 “接地气”,往往需要与其他开源项目进行配合——例如将文档、数据源或应用前端与 Ollama 打通,这便衍生出许多解决方案。
安装 Ollama 客户端
官网下载地址:registry.ollama.ai/
直接下载速度太慢,使用加速,GitHub Proxy 代理加速
(ghfast.top/)【实测速度超快】:
mirror.ghproxy.com/https://git…
文末提供了软件的网盘下载!
配置环境变量
在D盘新建一个文件夹命名为 OllamaAI,然后 打开系统环境变量,新建变量名:OLLAMA_MODELS 变量值:D:\OllamaAI,设置完成后重启电脑。温馨提示: 此步主要是解决 Ollama默认下载模型到C盘问题,若C盘空间足够大的小伙伴此步骤可略过。
DeepSeek-R1简介
DeepSeek-R1,是深度求索(DeepSeek)研发的推理模型,本地部署后完全免费,无使用次数限制。DeepSeek-R1采用的大规模强化学习技术,尤其擅长数学、代码和自然语言推理等复杂任务。DeepSeek-R1系列模型(1.5b~671b)开源且免费,进一步降低了AI应用门槛,赋能开源社区发展。
用 Ollama 下载模型
接下来点击 Ollama 官网左上方的 “Models” 按钮,会列出支持的各种模型,目前最火的 DeepSeek-R1 排在显眼位置,点击进入主题页面:
点击进去后,查看各个模型,不同模型执行的命令不同,最后部分看你选择的参数模型。
1.5b命令:ollama run deepseek-r1:1.5b
7b命令:ollama run deepseek-r1:7b
8b命令:ollama run deepseek-r1:8b
14b命令:ollama run deepseek-r1:14b
32b命令:ollama run deepseek-r1:32b
70b命令:ollama run deepseek-r1:70b
671b命令:ollama run deepseek-r1:671b
DeepSeek R1 提供多个版本,参数量越大,模型通常越强大,但也需要更多的计算资源,比如 1.5B 代表有 15 亿个参数。具体选择哪一个看你硬件设备了。
将本机的电脑配置发给 deepseek,看看它的推荐是哪个模型
选择好模型之后,点击右侧这个按钮,复制指令,这里是:ollama run deepseek-r1:14b
在 Windows 搜索栏输入 “cmd” 回车,唤出命令行窗口。
粘贴运行刚才复制的命令,开始下载,14b 模型容量大约 9GB,请保持网络畅通:
当界面出现 success 显示安装成功。输入 “你是谁”,看到 deepseek 的回答。
在CMD新窗口中输入命令:ollama pull nomic-embed-text回车下载nomic-embed-text嵌入式模型(后面做数据投喂会用到)。
AnythingLLM 简介
AnythingLLM
- 定位:将本地文档或数据源整合进一个可检索、可对话的知识库,让 AI 助手 “懂你” 的资料。
主要功能:
- 文档管理:将 PDF、Markdown、Word 等多格式文件索引进系统。
- 智能检索:可基于向量数据库搜索相关文档片段,并在聊天时自动引用。
- 界面 +API:既提供用户友好的前端管理界面,也能通过 API 与其他系统集成。
对接 Ollama 思路:
- 在配置文件或启动脚本中,将 “语言模型推理” 后端地址指定为 Ollama 的本地服务。
- 当用户发起提问时,AnythingLLM 会先做知识检索,再将检索到的上下文发送给 Ollama 做语言生成。
适用场景:
- 企业内部文档问答、个人知识管理、高度依赖文本内容的问答场景。
下载 Anything LLM
安装 Anything LLM
如果提示这个错误,目前比较好的方式是使用魔法就可以正常安装完
忽视这个错误也可以尝试运行程序跑一下
AnythingLLM 配置
如何投喂数据(训练 AI)
点击按钮开始添加文档,并将文档 Move to Workspace,然后点击 Save and Embed,出现 Workspace updated successfully 就表示配置已经完成。
验证效果
软件下载
[软件名称]:DeepSeek-R1
[软件大小]:999.3M/808M
[安装环境]:Win
[下载通道①百度盘链接]: