一、火到各行各业
最近有一个传统制造行业的好友突然问我,“deepseek的本地部署是个啥”,经过一番交流后,他想将其与公司的业务相结合,然后让我出一个教程。
本文是一篇保姆级的本地化部署教程,欢迎交流
二、环境说明
本人的电脑是 macOS,理论上还是够的,废话不多说,直接开干!其他系统可能部署步骤稍微有差异。
本文使用 ollama 进行安装部署 DeepSeek,(由于 Docker 环境存在网络限制,很遗憾未能采用这种方式)
三、安装Ollama
下载安装 ollama, 官网地址: ollama.com/
如官网介绍,Ollama 可以在本地运行多种大语言模型(注意:系统版本有要求)
打开终端,输入以下命令检查Ollama版本。如果返回版本信息,则说明安装成功
ollama --version
或者访问 http://localhost:11434
四、下载并部署DeepSeek模型
Ollama支持多种DeepSeek模型版本,用户可以根据硬件配置选择合适的模型。(可以先从入门开始)
选择模型版本:根据你的 Mac 配置,选择合适的模型版本
-
-
- 入门级:1.5B版本,适合初步测试。
- 中端:7B或8B版本,适合大多数消费级硬件。
- 高性能:14B、32B或70B版本,适合高端硬件。
-
- 8GB RAM:1.5B版本。
- 16GB RAM:7B或8B版本。
- 32GB RAM:14B或32B版本
打开终端,输入以下命令下载并运行DeepSeek模型(以7B版本为例)
如果需要下载其他版本,可以将7b
替换为对应的参数,如1.5b
、8b
、14b
、32b
等
这样就完成了 deepSeek的本地部署。
ollama run deepseek-r1:7b
如果已经下载过,则不用再下载,可直接运行。
- 在终端中输入问题后,模型会显示
<think>
标签以及回答内容。 - 输入
/bye
退出模型。
通过上面几个步骤,就完成了 DeepSeek 的本地化部署。然而,仅使用终端交互较为局限,可以使用界面进行交互。
五、Chatbox AI
使用 Chatbox AI 进行交互,会更加流畅
接下来进行配置
安装并配置,选择本地模型
通过简单的步骤,本地 DeepSeek 就可以拥有一个更友好的使用界面
六、使用API访问本地DeepSeek模型
除了使用界面,还可以使用 API 来访问本地模型。 写一个 python脚步
import requests
url = "http://localhost:11434/api/generate"
data = {
"model": "deepseek-r1:7b",
"prompt": "请问你是谁"
}
response = requests.post(url, json=data)
# 打印响应内容
print("响应内容:")
print(response.text)
使用 API 访问成功后,可以将 DeepSeek 集成到更多场景中
七、IDEA 集成本地 DeepSeek 模型
安装 Continue 插件,然后使用本地模型
可以使用任何大模型,支持 VS Code 和 JetBrains IDES。
然后使用本地 DeepSeek 进行编码
完成本地模型的配置后,基本就大功告成
八、总结
由于电脑性能不够强大,本地部署的反应速度还不够极致和丝滑。同时,由于内存限制,目前只使用了 7B 参数版本(该版本为“蒸馏版”)。更多关于本地部署的应用,可以再多多挖掘。
本文到此结束,感谢阅读。