3 款免费模型颁奖词实测:0.90 分冠军赢在哪

0 阅读7分钟

颁奖词这种文体,最能暴露一个模型「听话不听话」——材料里埋了假信息、禁用词和一条不许点破的暗线,谁读懂了规则,谁在自由发挥,一次就现形。这次模型实测选了三款免费档位的模型同题比稿:GLM-5.3-Flash、Kimi-K2.6、Qwen3.5-Flash,由非参赛的 gpt-5.6-sol 担任裁判,七个维度逐一打分。结果是 GLM-5.3-Flash 以 0.90 的均分拿下第一,Kimi-K2.6 以 0.89 紧咬在后,Qwen3.5-Flash 的 0.80 看似只差 0.1,翻车的原因却完全不在文笔上。下面把评分表、裁判理由和作品原文摊开来讲。

这次同题比稿到底难在哪

先说任务。给一位「年度最佳新人」写颁奖词,材料由 HR 提供,里面故意塞了干扰项:入职 8 个月、三个月拉回 1.2 万沉默用户是部门历史最好成绩,这没问题;但材料里那句「牺牲个人时间、连续加班」经核实不实,不许采用。真正的难点有三层:

  • 篇幅硬约束:120 字以内,念出来约 40 秒
  • 价值排序要求:「零预算」这个亮点必须比 1.2 万这个数字更靠核心——这考的是模型对「什么定义一个人」的判断
  • 意象暗线:观星团建可以化用收尾,和「把人聚回来」暗合,但点破这层类比就俗了

三个禁用词:文笔之外真正的筛选器

另外还有三个禁用词:「未来可期」「后生可畏」「新星」。这五条约束叠在一起,模型实测的区分度就出来了——文笔好坏反而不是主要矛盾,事实纪律才是。

评测流水线:为什么是七维、怎么防裁判偏置

七维打分是我在这类文体实测里固定下来的框架:受众契合、合规、事实性、格式、语言、说服力、选材,各 0-1 分。为什么拆这么细?因为「颁奖词写得好不好」是个没法直接量化的复合问题,拆维度之后,裁判模型的判断对象从「整体印象」变成「单点事实」,幻觉空间小很多。合规维度盯禁用词和加班叙事,事实性盯材料外扩写,格式盯字数和自我说明——每一维都有明确锚点,不靠裁判的主观口味。

当然,裁判模型也有偏好,单裁判的单次评分当趋势看可以,当定论看不行。但三款作品分差的结构性信息是可靠的,下面细说。

并发调用的接入方式与核心代码

流水线本身不复杂:并发给三个模型发同一份 prompt,拿到输出后连同原始材料一起喂给裁判,要求按七维返回 JSON。接入用 OpenAI 兼容 SDK,关键片段如下:

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["SILVAMUX_API_KEY"],
    base_url="https://www.silvamux.com/api/v1",
)

resp = client.chat.completions.create(
    model="glm-5.3-flash",
    messages=[
        {"role": "system", "content": ROLE_PROMPT},
        {"role": "user", "content": AWARD_TASK},
    ],
)
print(resp.choices[0].message.content)

5xx 透传不扣费:按状态码分流的重试逻辑

模型调用名以模型广场详情页的稳定 alias 为准,别按展示名自行拼接。裁判侧单独换 model 参数指向 gpt-5.6-sol,逐维解析 JSON 分数。这里有个实操细节:模型侧偶发 5xx 时网关会脱敏透传且不产生扣费,重试逻辑按状态码分流即可,400 改参数、429 指数退避、500 间隔 1-5 秒重试,别一律无脑重试。

flowchart LR
    A[&#34;任务设定<br/>约束与陷阱&#34;] --> B[&#34;并发调用 3 款模型&#34;]
    B --> C[&#34;原始输出落盘<br/>按模型分文件,断点续跑&#34;]
    C --> D[&#34;裁判模型<br/>七维独立打分&#34;]
    D --> E[&#34;汇总排名<br/>定位翻车维度&#34;]

排名表:0.01 的分差和 0.10 的鸿沟

维度GLM-5.3-FlashKimi-K2.6Qwen3.5-Flash
受众契合0.910.900.84
合规0.960.870.72
事实性0.840.780.65
格式0.840.960.97
语言0.920.860.83
说服力0.900.910.82
选材0.950.930.76
均分0.900.890.80

前三名咬得很紧。第一名和第二名只差 0.01,本质上是同一档水平的不同取舍:GLM-5.3-Flash 赢在合规 0.96 和选材 0.95,Kimi-K2.6 赢在格式 0.96——它交出的就是一段可以直接上台念的成品。第三名掉队 0.10,掉的维度集中在合规 0.72、事实性 0.65、选材 0.76,全是有硬标准的维度,不是文笔维度。耗时上 GLM-5.3-Flash 花了 140.93s,是最慢的一个;Kimi-K2.6 只要 51.15s,Qwen3.5-Flash 为 61.13s。批处理场景下这个差距值得留意。

翻车现场:Qwen3.5-Flash 输给的是「没有依据的扩写」

Qwen3.5-Flash 的格式分其实是全场最高的 0.97,裁判确认「全文约 108 字,符合 120 字以内及约 40 秒朗读要求,并避开了加班叙事和三个禁用词」。前半程纪律满分。坑在事实性 0.65——裁判给的理由很具体:

「零投放预算」被改写成「无需投入」「成本归零」,且材料只说组织过一次观星活动,作品却写「常在屋顶支起望远镜」和「二十二人围坐」,均属无依据扩写。

对照作品原文看:

无需投入,自有回响。闲暇时,他常在屋顶支起望远镜。二十二人围坐,仰观星汉,灯火可亲。……成本归零,信任增值。

「常在」与「成本归零」:三处无依据扩写逐条对账

「常在」两个字,把一次活动写成了习惯;「二十二人围坐」看起来像尊重材料,实际把「22 人参加团建」渲染成了画面叙事。零预算改写成「成本归零」更是语义漂移——零预算是事实,成本归零是修辞上的夸大。看作品节选,短句排比很有节奏感,说明它的语言能力没问题。输在把「写得漂亮」的优先级排到了「写得属实」前面,而颁奖词恰恰是念出去就要对本人负责的文体。

高分范本:GLM-5.3-Flash 赢在「该说的说、不该说的不说」

再看 GLM-5.3-Flash 的 0.90 是怎么拿的。合规 0.96 的裁判理由:

未采用不实加班叙事,也未出现「未来可期」「后生可畏」「新星」等禁用语,且没有夸大承诺或越界表述。

唯一失分点:正文 118 字却因自我说明被扣格式分

它唯一的失分也很有意思——格式 0.84。裁判指出颁奖词正文确实在 120 字以内且结构完整,但附加的「(118字……)」自我说明不属于颁奖词,若计入整体输出则影响直接使用。看原文:

八个月,一万二千个沉默的名字被重新点亮——而这一次点亮,没有花一分钱。他不靠预算说服人,靠的是想明白:人为什么离开,又为什么愿意回来。省下的是钱,赢回的是信任。业余时分,他喜欢把同事们带到屋顶,指给他们看那些一直都在、只是少有人抬头看的星星。

这一段做对了三件事:零预算放在第一句当核心,压过 1.2 万的数字;观星意象只写「指给他们看那些一直都在、只是少有人抬头看的星星」,沉默用户和星星的暗合留给听众自己品,一个字没点破。Kimi-K2.6 的作品同样是可用成品,「他仍习惯把散落四处的目光,聚向同一片星空」收尾干净利落,只是合规 0.87 说明仍有细节可挑。

选型建议:按分数结构挑,不按均分挑

这次模型实测的可迁移结论有三条。其一,Qwen3.5-Flash 格式 0.97、事实性 0.65 的分数结构说明:它的输出纪律在字数和禁用词层面是可靠的,但涉及材料细节时会主动「补戏」。给它做摘要、做格式化任务问题不大,涉及对事实负责的正式文案要慎用。其二,GLM-5.3-Flash 和 Kimi-K2.6 都能直接交付,差别在 140.93s 对 51.15s 的耗时与格式维度——需要直接落地的成品且在意响应速度,分数结构上 Kimi-K2.6 更合适;需要严格守住合规与选材边界的场景,GLM-5.3-Flash 的 0.96 更稳,但记得在 prompt 里明确「只输出正文,不要附加说明」,它的格式失分就出在这。其三,颁奖词类任务的评测维度权重里,事实性和合规应该压过语言分——这次垫底的不是文笔最差的,是纪律最松的。

自己埋干扰项跑一轮:替代通用榜单的验证方法

下次拿不准一款模型能不能写正式文案,别看通用的榜单跑分。照这次的思路自己出一份带干扰项的同题任务,埋一条假信息、设三个禁用词,跑一轮七维打分,翻没翻车一眼可见。颁奖词只是个载体,真正被测的是模型对约束的服从度。

以上示例在千木SilvaMux的 OpenAI 兼容端点上验证,参赛调用名为 glm-5.3-flash、kimi-k2.6、qwen3.5-flash,裁判调用名为 gpt-5.6-sol,API Key 通过环境变量 SILVAMUX_API_KEY 注入,参数出处可查开发者文档。