三步本地部署大模型deep seek

346 阅读2分钟

最近两年是大模型的爆发期,从chatgpt3推出,其强大的推理能力远超时人们的预期。25年1月国内deepseek上线,在推理、自然语言理解与生成、图像与视频分析、语音识别与合成、个性化推荐、大数据处理与分析、跨模态学习以及实时交互与响应等八大领域表现出色。本文只需要三步实现一个本地可用的大模型。

下载ollama

ollama是一个开源的本地大语言模型运行框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计,并且支持多种操作系统,包括 macOS、Windows、Linux 以及通过 Docker 容器运行。借助Ollama平台,用户能够轻松地在本地运行、管理和与大型语言模型进行交互。我们使用Ollama来部署大模型,能够大大简化简化部署操作。

打开:ollma主页,根据自己的操作系统下载对应的版本, 按照指示安装即可。

下载模型

打开模型列表,里面有各种大模型,比如Llama、Gemma以及最新的deepseek-r1模型。本文选择最近比较火的deepseek-r1为例,里面有蒸馏后不同参数数量的版本,以7b为例,参数规模达到了70亿,模型大小为4.7GB。

image.png

打开终端输入以下命令安装大模型并自动启动。

 / %ollama run deepseek-r1:7b

安装完成后看到如下提示,说明安装成功了,在终端能够交互式对话。

截屏2025-04-28 01.36.55.png

安装谷歌浏览器插件page Assist

使用终端交互还是不太方便,这里更加推荐使用谷歌浏览器插件。直接打开谷歌插件商店,搜索进行安装。当然,也支持本地插件安装,文末有网盘备份。

image.png

image.png 到这里就能够在本地玩大模型了。 截屏2025-04-28 01.39.30.png 不过,受限于本地内存限制,本地效果对于满血版差太远了,就当个聊天助手来玩吧。不用的时候最好关掉,占着好几个G的内存,在终端使用ollama命令进行关闭。

hzjdemac@Mac-mini / % ollama ps

NAME              ID              SIZE      PROCESSOR    UNTIL              

deepseek-r1:7b    0a8c26691023    6.0 GB    100% GPU     4 minutes from now    

hzjdemac@Mac-mini / % ollama stop deepseek-r1:7b

更多ollama命令,使用ollama --help查看。

附件: Ollamah和pageassist百度网盘地址

参考: cloud.tencent.com/developer/a… www.runoob.com/ollama/olla…