基于Chatbox本地部署DeepSeek-R1的蒸馏量化模型

109 阅读3分钟

背景介绍

由于DeepSeek的火爆,用户访问过多,导致官方服务器多次宕机,这十分影响客户的体验性

本地部署DeepSeek模型可有效保护数据隐私、提供定制化功能、支持离线使用、降低成本,并避免使用限制,适合对数据安全和个性化有高要求的用户。 DeepSeek R1是一个高效、低资源消耗的大模型,支持本地部署,适配不同硬件配置,满足数据隐私需求,并可进行定制化训练,标志着大模型的“平民化”时代。

(一)下载方法

1.下载Ollama(官网地址[Ollama](ollama.com))

Ollama Ollama 是一个开源的 AI 模型,专注于多模态任务,能够处理文本、图像等多种数据类型。其核心优势在于强大的上下文理解能力和跨领域知识储备,使其在对话、生成任务中表现出色。Ollama 可以与各种工具和平台集成,适用于开发者和个人用户。

2.选择对应版本下载

image.png 小编的是windows所以用windows来操作 image.png

3.下载好之后进行安装 027da7fa99d87af7a43c768c5d7c181.png

4.回到ollama 点击Models 选择deepseek-r1

屏幕截图 2025-02-27 145855.png

5.根据不同版本的模型,所需的内存大小也有所不同。例如,1.5b、7b、8b、14b、32b、70b和671b这些模型版本对应的内存需求不同。

  • 如果你的电脑内存为8GB,可以下载1.5b、7b和8b版本的蒸馏模型。
  • 如果电脑内存为16GB,则适合下载14b版本的蒸馏模型。

我选择了1.5b版本的模型。(参数越大,使用DeepSeek时效果越好)

可以使用以下命令下载1.5b版本的模型:"ollama run deepseek-r1:1.5b"

image.png

如果下载其它版本命令可以直接复制,在ollama里面粘贴,回车,自动下载 屏幕截图 2025-02-27 151144.png

6.选择好版本之后Win+R输入cmd 打开命令提示符,输入复制的命令 "ollama run deepseek-r1:1.5b" 0438bb421429658a8bf57da0459f0c4.png

7下载之后就进入交互模式,可以询问我们的问题模型便会自动思考在标签里,并且经过思考后会返回思考后的结果。不想使用后可以输入 Ctrl + D 来退出交互模式

738e859284bdef435cf46a5008babe6.png

(二)删除方法

删除模型:在命令行中输入ollama rm deepseek - r1:1.5b,即可删除指定的deepseek - r1:1.5b模型(根据自己的模型进行更改)。

下图表示成功删除‘ollama rm deepseek - r1:1.5b’模型。 6adabb3e6d65dad9d68c9c23b282c80.png

(三)用户页面

下载完 Ollama 模型后,虽然可以在命令行中使用 DeepSeek,但界面比较简洁。为了更好的用户体验,可以通过接入 Ollama 的 API,使用 chatBox 提供的 UI。这样,不仅可以方便地操作 DeepSeek,还能享受更流畅的界面体验。

1.下载网址:Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载

image.png

2.下载安装完成后打开软件勾选 "使用自己的API Key或本地模型"或者从设置里面进行更改

584bec44760490188b094f43a88eb1d.png

3.选择Ollama API模型 image.png

4.选择下载版本的模型,进行保存 image.png

5.成功使用

image.png