理论计算
使用非专业计算显卡,能跑DeepSeek**满血版吗?
通常概念下,DeepSeek满血版指DeepSeek-R1-671B(最高档参数量)的模型。
根据前文总结的计算公式,671B参数量,用int4进行量化,理论上至少需要 335.5 GB 的显存才能加载。
当前,nvidia消费级显卡最大显存天花板是 4090 48G,由出厂的 4090 24G魔改而来。
一台八卡服务器,最大显存可以达到 48 x 8 = 384GB,理论可行。
实际测试
于是在八卡服务器上,用 ollama 拉取了 DeepSeek-R1-671B 模型进行测试,确实能够跑起来,显存占用约 339.88GB(包含 Xorg 本身的显存 0.13GB)。
实际显存占用情况
下面做了个测试,比较 DeepSeek-R1-671B 和 DeepSeek-R1-70B 的效果区别。
问答测试:
DeepSeek-R1-671B 效果
DeepSeek-R1-70B 效果
写今年浙江卷高考作文题:
DeepSeek-R1-671B 效果
DeepSeek-R1-70B 效果