DeepSeek本地化部署实践

580 阅读2分钟

概念介绍

DeepSeek

网址:www.deepseek.com/

image.png

对话服务:chat.deepseek.com/

image.png

Ollama

Ollama是一个可以在本地部署和管理开源大语言模型的框架,极大的简化了开源大语言模型的安装和配置细节。

网址:ollama.com/

image.png

ChatboxAI

Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。

网址:chatboxai.app/zh

image.png

本地部署

本地化优缺点

本地化部署DeepSeek大模型在数据隐私、定制化和低延迟方面有优势,但面临高成本、维护复杂和扩展性有限等挑战。选择是否本地化部署需根据具体需求和资源进行评估。

优点

数据隐私和安全: 数据在本地处理,避免外传,适合对隐私和安全要求高的场景。

定制化: 可根据需求对模型进行微调和优化,提升特定任务的性能。

低延迟: 本地部署减少网络延迟,适合实时性要求高的应用。

离线可用: 无需网络连接,适合网络不稳定或不可用的环境。

缺点

高成本: 需要购买硬件和软件,初期投入较大。

扩展性有限: 扩展需额外硬件投入,不如云服务灵活。

技术门槛高: 部署和优化大模型需要专业知识,技术门槛较高。

资源占用: 大模型需要大量计算和存储资源,可能影响其他系统性能。

部署流程

安装Ollma

Ollma下载地址:ollama.com/download

image.png

image.png

安装deepseek模型

通过Ollma安装,建议先试用最轻量的模型 deepseek-r1:1.5b,命令参考:ollama.com/library/dee…

image.png

image.png

image.png

image.png

安装完成后,可直接通过命令行使用

image.png

安装Chatbox AI

Chatbox AI下载地址:chatboxai.app/zh

image.png

image.png

image.png

选择Ollma API image.png

image.png

配置完成后,即可使用或训练大模型

image.png