从0开始部署DeepSeek:Ollama配置 + WebUI推荐

147 阅读4分钟

1、DeepSeek一些概念

安装前,这里补充几个概念:

1)什么是满血版DeepSeek?

国内大厂纷纷做宣传,接入满血版DeepSeek,那么什么才是满血版DeepSeek呢?

在Ollama里可以看到有两个版本的DeepSeek一个是7B另一个是671B它们的大小也不一样。这里的单位B是表示“Billion”,即十亿,“671B”表示模型的参数量为6710亿个参数,这里的671B也就是我们说的满血版了。

2)为什么满血版模型有的400GB有的700GB?

其实可以看到DeepSeek官方的满血版是700多GB,而Ollama的满血版是400GB,为什么它们大小不一样。这里就引出了别一个概念就是量化版与原始版,一般来说受资源的限制会考虑牺牲模型的部分精度对它进行压缩。

3)没有显卡可以跑DeepSeek吗?

如果没有显卡,内存也是可以试试的。官方也给出了建议。

有8 GB的RAM可用于运行7B型号,16 GB用于运行13B型号,32 GB用于运行33B型号。

以下是CPU 与 GPU 跑 AI 时的占用情况

无显卡 CPU 直接狂飙到100%.....内存占用的不是很大....。当然体验一下还是可以的,也可以选择参数小一点的模型。

如果你不只是为了体验的话网上也有不少网站会给出一些指标出来,感性趣的可以研究下。

3 用4步搭建DeepSeek

接下来就看看DeepSeek的搭建步骤:

这里使用的是Ollama,Ollama是2023年初发布出来的,Ollama是一个开源的大语言模型运行框架。Ollama开源在GitHub上目前已经132k星了非常惊人的数字。

它是专门设计用于在本地运行大型语言模型。它将模型权重、配置和数据捆绑到一个包中,优化了设置和配置细节,包括GPU使用情况,从而简化了在本地运行大型模型的过程。

Step1:下载Ollama

Ollama官网可以直接下载 ,支持macos、linux、windows操作系统,选择自己相应的版本下载。

Step2:安装Ollama

双击安装OllamaSetup.exe,安装完成后在电脑状态栏会多一个羊驼的图标

Step3:安装模型

选择相应的模型

如windows直接打开cmd命令行窗口,

接下就是会下载相应的模型,这里比较大,要花不少时间

这样等待下载完成就安装好了。

p.s.ollama满血版的deepseek-r1:671b大小为404GB当然非量化版的有701GB,这个对于硬件还是有很高的要求。

Step4:使用对话

现在就可以打开windows命令窗口:

如果你不喜欢版本黑屏,可以再搭建个WebUI,在GitHub上也是有非常多的选择的,像Open WebUI已经有近82k星了。