本地部署DeepSeek-R1

971 阅读4分钟

最近DeepSeek非常火爆,那如何部署在本地呢?已经有app了为什么还要在本地部署呢?

将 DeepSeek 部署在本地有以下好处

1. 数据安全与隐私保护

  • 防止数据泄露:本地部署时,所有数据的存储和处理都在本地设备完成,无需上传至云端,避免了数据在传输和存储过程中被第三方窃取或滥用的风险,可有效保护商业机密、个人隐私等敏感信息。
  • 满足法规要求:对于一些对数据安全和隐私有严格法规要求的行业和地区,如医疗、金融等,本地部署能确保数据始终处于合规的边界内,更易于满足法规要求。

2. 不受网络限制

  • 离线使用:即使在网络信号差或没有网络连接的环境中,如偏远山区、地下场所等,依然可以正常运行 DeepSeek 模型,满足用户随时随地使用 AI 的需求。
  • 稳定运行:无需担心因网络不稳定、中断或服务器繁忙等问题影响 AI 服务的使用,避免出现加载缓慢、响应超时等情况,保证了使用体验的稳定性。

3. 性能优化

  • 低延迟与高效率:本地推理速度更快,延迟更低,在需要实时反馈的应用场景中表现出色,如机器人控制、视频分析等领域,能够快速处理数据并及时发出响应。
  • 资源合理利用:可以根据具体需求和硬件配置,对模型进行针对性的资源分配和优化,充分发挥本地硬件的性能优势,提高资源使用效率,避免云服务中可能出现的资源分配不均或过度使用的问题。

4. 自主控制与灵活性

  • 定制化开发:支持用户根据自身业务特点和需求,对模型进行自定义和针对性训练,使其更贴合特定的业务场景和任务需求,如电商企业的商品推荐、医疗企业的疾病诊断辅助等。
  • 技术栈控制:用户拥有完全的技术栈控制权,可以更灵活地将 DeepSeek 与其他系统或工具进行集成,打造符合自身需求的 AI 应用生态。

5. 长期成本效益

  • 降低运营成本:虽然本地部署的初期投资可能较高,包括硬件采购和可能的定制开发成本,但从长期来看,可减少持续的云服务费用,特别是在数据量非常大或需要长期稳定运行的情况下,成本优势更为明显。
  • 避免额外费用:无需支付云服务提供商的月度或年度订阅费用、数据传输费用等额外开支,有助于降低整体运营成本。

效果:

image.png

部署步骤

1. 安装 ollama

  • Ollama 是一个开源的人工智能和机器学习工具平台,主要用于在本地运行大型语言模型

image.png 安装成功之后,win + R cmd验证一下是否成功:

image.png

2. 下载deepseek-r1模型

  • 在ollama官网里面搜索 deepseek-r1模型

image.png

注意这里根据自己的电脑配置选择,显卡在4080以下的建议选择14b, 否则创建的模型在本地会比较迟缓

在cmd指令里面执行该指令,执行后会自动下载该模型

ollama run deepseek-r1:32b

image.png

3. 定制角色

  • 使用vscode创建一个文件。名字任意起,比如我这里是 Holin
FROM deepseek-r1:32b  // 指定模型基座是deepseek-r1:32b

PARAMETER temperature 1  // 回答的创意等级,该值是0到1,0代表非常严肃,1代表放飞自我式的回答

SYSTEM """
角色信息
"""

image.png

4. 创建角色模型

  • 在Holin所在的文件夹中执行以下指令创建模型
ollama create Holin -f ./Holin
  • 成功之后查看是否创建成功

image.png

5. 运行创建的模型

ollama run Holin

image.png

注意:我本地使用的是32b的,所以体验不是很好,主要是回复的速度太慢了,看其他博主的测试,32b的在4090的显卡上运行会比较丝滑

但是答案非常不错。这些答案是基于角色创建时的角色信息来回复的。

image.png

6. 提高使用体验 - 安装WEB UI插件 Page Assist

  • 在google应用商店搜索 Page Assist,并安装
  • 然后 Ctrl + Shift + L, 打开Web端页面
  • 修改配置

image.png

image.png

注意:需要打开ollama服务之后,再打web端页面