最近DeepSeek非常火爆,那如何部署在本地呢?已经有app了为什么还要在本地部署呢?
将 DeepSeek 部署在本地有以下好处
1. 数据安全与隐私保护
- 防止数据泄露:本地部署时,所有数据的存储和处理都在本地设备完成,无需上传至云端,避免了数据在传输和存储过程中被第三方窃取或滥用的风险,可有效保护商业机密、个人隐私等敏感信息。
- 满足法规要求:对于一些对数据安全和隐私有严格法规要求的行业和地区,如医疗、金融等,本地部署能确保数据始终处于合规的边界内,更易于满足法规要求。
2. 不受网络限制
- 离线使用:即使在网络信号差或没有网络连接的环境中,如偏远山区、地下场所等,依然可以正常运行 DeepSeek 模型,满足用户随时随地使用 AI 的需求。
- 稳定运行:无需担心因网络不稳定、中断或服务器繁忙等问题影响 AI 服务的使用,避免出现加载缓慢、响应超时等情况,保证了使用体验的稳定性。
3. 性能优化
- 低延迟与高效率:本地推理速度更快,延迟更低,在需要实时反馈的应用场景中表现出色,如机器人控制、视频分析等领域,能够快速处理数据并及时发出响应。
- 资源合理利用:可以根据具体需求和硬件配置,对模型进行针对性的资源分配和优化,充分发挥本地硬件的性能优势,提高资源使用效率,避免云服务中可能出现的资源分配不均或过度使用的问题。
4. 自主控制与灵活性
- 定制化开发:支持用户根据自身业务特点和需求,对模型进行自定义和针对性训练,使其更贴合特定的业务场景和任务需求,如电商企业的商品推荐、医疗企业的疾病诊断辅助等。
- 技术栈控制:用户拥有完全的技术栈控制权,可以更灵活地将 DeepSeek 与其他系统或工具进行集成,打造符合自身需求的 AI 应用生态。
5. 长期成本效益
- 降低运营成本:虽然本地部署的初期投资可能较高,包括硬件采购和可能的定制开发成本,但从长期来看,可减少持续的云服务费用,特别是在数据量非常大或需要长期稳定运行的情况下,成本优势更为明显。
- 避免额外费用:无需支付云服务提供商的月度或年度订阅费用、数据传输费用等额外开支,有助于降低整体运营成本。
效果:
部署步骤
1. 安装 ollama
- Ollama 是一个开源的人工智能和机器学习工具平台,主要用于在本地运行大型语言模型
安装成功之后,win + R cmd验证一下是否成功:
2. 下载deepseek-r1模型
- 在ollama官网里面搜索 deepseek-r1模型
注意这里根据自己的电脑配置选择,显卡在4080以下的建议选择14b, 否则创建的模型在本地会比较迟缓
在cmd指令里面执行该指令,执行后会自动下载该模型
ollama run deepseek-r1:32b
3. 定制角色
- 使用vscode创建一个文件。名字任意起,比如我这里是 Holin
FROM deepseek-r1:32b // 指定模型基座是deepseek-r1:32b
PARAMETER temperature 1 // 回答的创意等级,该值是0到1,0代表非常严肃,1代表放飞自我式的回答
SYSTEM """
角色信息
"""
4. 创建角色模型
- 在Holin所在的文件夹中执行以下指令创建模型
ollama create Holin -f ./Holin
- 成功之后查看是否创建成功
5. 运行创建的模型
ollama run Holin
注意:我本地使用的是32b的,所以体验不是很好,主要是回复的速度太慢了,看其他博主的测试,32b的在4090的显卡上运行会比较丝滑
但是答案非常不错。这些答案是基于角色创建时的角色信息来回复的。
6. 提高使用体验 - 安装WEB UI插件 Page Assist
- 在google应用商店搜索 Page Assist,并安装
- 然后 Ctrl + Shift + L, 打开Web端页面
- 修改配置
注意:需要打开ollama服务之后,再打web端页面