14 万亿参数的“泄露”火了一晚上,评论区先把它扒干净了

17 阅读2分钟

昨晚 r/ClaudeAI 最热闹的帖子不是什么新功能,是一个自称 Anthropic 内部 Mythos 级检查点的仓库,挂在 Hugging Face 上,账号名就叫 burner22,仓库名 numbat。

帖子里列的规格看着挺唬人:14 万亿参数,1224 个 MoE 专家,7.72TB 权重,772 个分片。原帖作者自己也留了个心眼,说目前还没有独立验证,问大家这是真泄露还是精心包装的假货。

评论区一开始也挺上头的,没多久风向就变了,变成了一场集体扒皮。说白了,大家不是不信有泄露,是这个仓库处处对不上。

先是架构。有人说这玩意儿就是公开开源设计的拼盘,DeepSeek-V3、Qwen3-Next、Kimi 这些的影子都能在里面找到,东拼西凑的痕迹太重。

再是硬件故事。仓库说模型被量化成了英伟达的 NVFP4 格式,评测却说跑在亚马逊的 Trainium2 芯片上。这就离谱了,格式和芯片根本不是一家,等于说用苹果的充电器给安卓手机充电还充上了。

训练日志更绷不住。时间戳显示有的检查点只用了 3 分钟,有的 8 秒就出一个,还有同一基准连续 7 次分数完全相同。这哪是训练,分明是现编的。

最狠的是真去查权重的人。原帖评论里有人只取了配置、索引和 tokenizer 做检查,没下载完整分片,结果发现权重在统计上就是合成噪声:归一化权重从第 0 层到第 114 层分布都一样,稠密投影矩阵就是教科书式的随机噪声。反量化的专家矩阵也一样,根本不是训练出来的东西。

还有个细节挺有意思。配置里说输出头不共享,实测 lm_head 和 embed 的相关系数有 0.89,顶奇异值也相同,等于换了个名字又贴回来了。门控参数在所谓 183 万步之后还停在初始化范围,这步数怕是注水注出来的。

所以版主置顶的那句提醒,引用一下原话:“DO NOT download this”。评论区不少人也在说同一件事:别下载,更别用 trust_remote_code=True 去跑这个仓库的代码。现在看着是普通 PyTorch,上传者随时可以改,账号还是 10 月 16 号刚建的 burner 号。

反正我是不会去碰 7.7TB 的东西的,硬盘也装不下。看看评论区扒皮,比下模型本身有意思多了。

原帖出处:www.reddit.com/r/ClaudeAI/…