使用非专业计算显卡,能跑DeepSeek满血版吗?

254 阅读1分钟

理论计算

使用非专业计算显卡,能跑DeepSeek**满血版吗?

通常概念下,DeepSeek满血版指DeepSeek-R1-671B(最高档参数量)的模型。

根据前文总结的计算公式,671B参数量,用int4进行量化,理论上至少需要 335.5 GB 的显存才能加载。

当前,nvidia消费级显卡最大显存天花板是 4090 48G,由出厂的 4090 24G魔改而来。

一台八卡服务器,最大显存可以达到 48 x 8 = 384GB,理论可行。

实际测试

于是在八卡服务器上,用 ollama 拉取了 DeepSeek-R1-671B 模型进行测试,确实能够跑起来,显存占用约 339.88GB(包含 Xorg 本身的显存 0.13GB)。

实际显存占用情况

实际显存占用情况

下面做了个测试,比较 DeepSeek-R1-671B 和 DeepSeek-R1-70B 的效果区别。

问答测试:

DeepSeek-R1-671B 效果

DeepSeek-R1-671B 效果

DeepSeek-R1-70B 效果

DeepSeek-R1-70B 效果

写今年浙江卷高考作文题:

DeepSeek-R1-671B 效果

DeepSeek-R1-671B 效果

DeepSeek-R1-70B 效果

DeepSeek-R1-70B 效果