百度开源了ERNIE 5.5 Flash Base，一个总参数量280B(十亿)、每个token激活14B参数的文本MoE(混合专家)基础模型。该模型从零开始用33.5T(万亿)个token预训练，训练阶段上下文长度为128K(千)，微调和推理阶段扩展到1M(百万)。MoE架构的特点是模型内部划分出多个“专家”子网络，处理每个token时只激活其中一部分，借此在保留大参数量能力的同时控制实际计算量。
ERNIE 5.5 Flash Base是纯文本模型，共43层，隐藏层维度4096。预训练使用了Muon优化器，这是近年大模型训练中逐渐被采用的一种优化算法，官方未在现有材料中说明选择它的具体原因。
结构上的几处改动
模型在注意力机制和参数效率上做了具体调整。注意力输出门控改为来自低秩query latent，这一改动把门投影(gate-projection，注意力模块中控制信息流动的那部分参数)参数量削减到四分之一。通过低秩表示替代完整投影，可以在基本保留功能的前提下减少参数开销。
模型还加入了一个名为ECHO的模块，额外带来0.36B参数，这部分参数未计入前面提到的280B总参数量和14B激活参数量的官方口径。此外，模型采用了Manifold-constrained Hyper-Connections结构(简称mHC，流形约束超连接)，扩展率为4，并配有一个MultiMax输出头。这几项是网络内部连接方式和输出层的设计选择，官方材料没有说明它们各自对最终效果的贡献，也没有给出消融实验数据，具体收益目前无法核实。MoE模型近期的一个共同趋势是通过类似的结构改动压缩非核心参数、把计算预算更多留给专家路由本身，ECHO和mHC是否属于这一思路下的具体实现，现有材料没有给出佐证。
百度团队同时公布了一项名为FlashMask-4的注意力加速方案，在SM100硬件(英伟达GPU的一种计算架构型号)上，相较FlashAttention-4 MaskMod(业界已有的一种注意力计算加速方法)，前向计算最高提速175%，反向计算最高提速74%。这组数据来自百度自己的测试，第三方尚未提供独立验证。
与同类模型的参数对比
百度公开的一份汇总表格列出了几款同类定位模型的参数规模，但表格本身未标注每一行对应的具体模型名称，只能确认数值顺序。按这份表格，总参数依次为280B、284B、295B(另加3.8B的MTP，即多token预测模块)、310B;激活参数依次为14B、13B、21B、15B。文中出现的DeepSeek-V4-Flash-Base对应284B总参数一项，Hy3-preview-Base对应21B激活参数一项，这两组对应关系来自原始资料的表格排列，其余型号的名称和版本信息在原始材料中缺失，无法逐一核实对应关系是否准确。
部署与评测
模型的推理部署路径指定通过vLLM(一种开源大模型推理服务框架)进行，所需版本不低于0.32.0，并需要搭配vLLM-ERNIE插件使用。
百度文心团队在同一套评测框架下，对ERNIE 5.5 Flash Base做了30项基准测试(Benchmark)，覆盖综合、知识、理科、推理、多语言、代码与长上下文七类能力。百度官方材料本身没有披露这30项测试的具体分值，也没有给出与前代模型逐项对比的数据，目前无法判断该模型在哪些能力类别上领先或落后。
外部研究者和同类厂商对这一模型的具体评价尚未见公开材料，模型实际效果与对比模型的真实差距，仍需等待第三方测试结果。
原文地址：tools.wflynn.cn/aitools/tre…
关注公众号「YourTools」，每天推送 GitHub 趋势与开源工具速报：
