很多人可能不知道，你买的那张好几万的 RTX 5090，可能跑不了你想跑的本地 AI 模型，我可没跟你瞎说。
假设你现在在家运行本地 AI 模型，我给你两种硬件选择。
-
一种是独立显卡，比如英伟达的 RTX 5090，带有 32GB 显存，售价 3 万元人民币左右。
-
另一种是采用板载芯片组（CPU + 板载显卡 + 板载内存）的家用电脑，比如搭载 AMD Ryzen AI Max+ 395（Strix Halo）的迷你电脑，可以配到 128GB 内存，这个配置售价 2 万元人民币左右。
如果是你，你会选哪一种？
大部分人可能不假思索，就会选择独立显卡，毕竟独立显卡的算力远大于板载芯片组，当然，还有另外一个原因，独立显卡贵！！！
选贵的还能有错？
为了更加直观，我们先比较一下两者的算力，下面是单精度32位浮点数算力（FP32）。
- 独立显卡（RTX 5090）：104.8 TFLOPS
- 板载芯片组（AMD Ryzen AI Max+ 395）：14.8 TFLOPS
单看这两个 FP32 数字，独立显卡的算力足足是板载芯片组的 7 倍。
仅仅算力就够了吗？
稍微停一下，我先列出目前我们知道的二者的数据：
- 独立显卡（RTX 5090）：32GB 显存，1792GB/s 内存带宽
- 板载芯片组（AMD Ryzen AI Max+ 395）：128GB 内存，256GB/s 内存带宽
你可能没想到的是，如果运行本地 AI 模型，还真说不准哪台更合适。
有个反直觉的情况：碰到显存装不下的模型，板载芯片组的迷你电脑反而可能更合适。
问题就出在那 32GB 显存。模型稍大一点，权重就可能放不下。
举个例子，一个 70B 参数的模型，如果每个参数占 4 位，光权重就要 35GB（约 32.6 GiB）。RTX 5090 的显存装不下全部权重。当然，要跑也不是不行，把一部分放到系统内存里，只是速度会受影响。
相比之下，AMD 迷你电脑的板载内存有 128GB，放下这套权重就宽裕多了。
等等，内存？这不是显存啊！
神奇就在这里，板载芯片组的内存是显卡和 CPU 共用的，所以称为“统一内存”。它的好处是可以分出尽可能多的内存给单个处理器，所以能处理内存消耗量很大的 AI 模型。
苹果的 M 系列芯片一直是这种“统一内存”架构，这也是有人买 Mac mini 跑本地模型的原因之一。
当然，其他厂商现在也跟进了，AMD 的 Strix Halo、NVIDIA 的 DGX Spark、部分 Intel Core Ultra 和高通 Snapdragon X 机型也能让 CPU 和 GPU 共享内存。
读到这里，你可能会问：那既然板载芯片组有这些优点，购买独立显卡还有必要吗？
这里暴露出另一个内存指标——带宽。
板载芯片组的弱点，恰恰就是内存带宽。
所谓“内存带宽”，指的是内存向处理器传送数据的速度。虽然 RTX 5090 显存不多（32GB已经很高啦！），但是内存带宽极大，达到了 1792GB/s，而 AMD 的内存带宽只有 256GB/s。
我们假设一个模型有 40GB 权重，一次只生成一个 Token，每生成一个就把权重读一遍。AMD 这台的内存带宽是 256GB/s，带宽跑满也就一秒读 6 次多一点（256 除以 40）。光看带宽，大概就是每秒 6 个 Token。这样的龟速，谁能忍受？
换成带宽有 819GB/s 的苹果 M3 Ultra，同样这 40GB 权重，一秒大约能读 20 遍。RTX 5090 的带宽更高，但这 40GB 权重放不进它的显存。
所以，内存大小和内存带宽，两者都是 AI 模型的瓶颈。这也是高带宽内存（HBM）价格涨疯了的原因。
如果每次都得读完这么多权重，迷你电脑跑起来就容易慢。
但是吧，万事没有那么绝对！
为了节省计算量，出现了“混合专家模型（MoE）”这种架构，它计算 Token 时，不需要读取全部参数，只需要激活一部分参数即可。
以 Qwen3-30B-A3B 为例，它有 30.5B 参数，每生成一个 Token 只激活约 3.3B。按每个参数 4 位粗算（半个字节），整套权重约 15.25GB（全部 30.5B 参数），每次用到的约 1.65GB（激活 3.3B）。拿 AMD 的 256GB/s 除一下，看带宽，一秒就能读 150 多次。
因此，如果你用“统一内存”模式的迷你电脑，就选用 MoE 模型吧。
当然，迷你电脑还有一个很大的缺点，就是它的算力！
我们知道，在现实的模型使用中，模型必须先处理用户的提示词，然后才能生成 Token。因为迷你电脑的算力慢，所以它处理提示词也很慢。
例如，用这款 AMD 芯片跑了一个 70B 模型，实测每秒能处理约 95 个输入 Token。你要是贴一份 4,000 Token 的文档，光读完就得 40 多秒。
你想一下，一旦用户往上下文窗口塞入更多的内容，单单是处理提示词，就会变成几分钟到几十分钟。
总之，现阶段想在本地电脑运行大模型，无论是独立显卡还是板载芯片组，都有缺陷。你最多只能运行一些中等规模的 MoE 模型，而且提示词不能很长。
为什么 DeepSeek V4.1 Flash 如此受欢迎
我们再举个例子。刚才那台 128GB 的 AMD 迷你电脑，能跑 DeepSeek V4.1 Flash 吗？
还真能跑。
这里说的是 1017 版，总参数约 763B（这个数据量是真的大！！！），整套权重肯定放不进 128GB 内存。
但和前面那个 Qwen 模型一样，它每生成一个 Token，只激活约 16B 参数（还可以做到更小）。
还是用前面的 4 位算法，16B × 4 ÷ 8 = 8 GB。这是生成一个 Token 用到的权重大小。
速度呢？
AMD 的内存带宽是 256 GB/s。假设每次用到的 8 GB 权重都在内存里，带宽也跑满，256 ÷ 8 = 32，也就是一秒能读 32 次。
那换成 RTX 5090 呢？它的显存带宽是 1792 GB/s。同样算，1792 ÷ 8 = 224，一秒能读 224 次，这可相当不错了！
这就是为什么玩本地模型的人喜欢 DeepSeek V4.1 Flash 这一类模型。
