01 部署预知
本地部署大模型对于普通人来说最重要的硬件资源。在部署之前,我们有必要认识一下在一般情况下,不同参数的DeepSeek-R1模型需要配置。之前《【小白入门篇6】常识|怎么计算模型需要的资源》文章有提过如何预估模型训练和推理的硬件信息。
上述表格来源于:dev.to/askyt/deeps…
关于本地部署,大多数人使用的是蒸馏后的8B/32B/70B版本,本质是微调后的Llama或Qwen模型,并不能完全发挥出DeepSeek R1的实力。
02 实战部署
《基础篇| 大模型部署框架》提到过一些部署框架,如Ollama,Ollama对于小白来说操作简单,容易上手。小白可以使用Ollama快速部署大模型。由于Ollama是在控制台(cmd、terminal)进行对话,对于用户并不友好在本章节同时还利用ChatBox进行可视化,方便大家使用。这里简单介绍一下DeepSeek-R1、Ollama、ChatBot的关系。
2.1 Ollama工具安装
Ollama: 在本地运行 DeepSeek-R1、Mistral等大语言模型的开源工具。Ollama 下载地址:ollama.com/download, 点击download,进入下载页。有3个版本:Mac,Linux,Windows(支持10以上)版本。
按照网址的流程下载相应安装即可, 验证是否成功。
2.2 加载模型
Ollama加载模型非常简单,直接通过run命令加载模型,模型的硬件资源配置可以参考上述表格。(注本人没有满血版671B模型所需的硬件配置)
ollama run deepseek-r1:14b
2.3 聊天对话框架
2.3.1 安装ChatBox AI
ChatBox AI(chatboxai.app/zh#download… 是学习大模型客户端,支持多种大模型应用,支持跨平台,更直观易用,从此告别黑屏,提升用户极致体验,特别适合初学者, 支持本地版本和网页方式打开。
2.3.2 配置ChatBox
找到设置,弹出的页面中配置。
配置完成,即可使用。本地部署完,可以进行断网使用。
03 总结
除了671B版本之外,其他版本均是通过蒸馏出来。一般人不会有大量资源,根本无法本地部署满血版本的DeepSeek-R1模型。 同时,相对满血版本的DeepSeek-R1模型,其他模型效果是无法同日而语,尤其是像DeepSeek-R1的671B这样大模型,往往需要高性能的硬件支持,这让许多开发者和研究人员望而却步。
好在中国互联网大厂开放了满血版本的DeepSeek-R1,可以直接白嫖这个工具,有腾讯的元宝、csdn知道、纳米AI搜索,不喜欢开源的百度AI等产品。没有特别本地化的需求和数据私密要求场景,可以直接白嫖这些产品。同时清华大学开源的KTransformer框架,它支持在单台(24GB VRAM)/多gpu和382G DRAM上的Deepseek-R1和V3,速度提升3~28倍。