编者按： 当我们在习惯性地挑剔大语言模型（LLM）的种种缺陷时，如果反转视角，用评价AI的严苛技术指标来衡量人类自身的认知与对话能力，我们还能通过这场针对“智能”的测试吗？
我们今天为大家带来的文章，作者的观点是：随着大语言模型的飞速进化与人类能力的相对停滞，那些曾被视为AI“缺陷”的行为特征，如今反而在人类对话中表现得更为显著，甚至在某种程度上，AI已凭借其高效的认知能力成为比人类更优质的交流伙伴。
作者 | Jakob Kastelic
编译 | 岳扬
当一些人还在争论计算机为何永远无法通过图灵测试**时，我却反复被另一种观点所困扰：随着模型不断进化而人类停滞不前，基准测试的门槛终将被抬高到连人类自己都无法通过的程度。 以下列出的这些行为特征，过去常被认为是大语言模型（LLM）的“缺陷表现”，如今却在人类对话中更为常见了。
01 不懂何时该停止输出
这向来是对话中的老大难：你问了个看似简单具体的问题，换来的却是一段仿佛永无止境的、逻辑松散的絮叨。即便对方对该话题的知识早已耗尽，仍会继续谈论你毫无兴趣的内容。我时常下意识想找那个“停止生成”按钮，然后才想起 —— 面对人类，我只能委婉暗示，或干脆不礼貌地走开。
02 上下文窗口太小
一场深度对话最妙的时刻，是对方真正“懂你”：你描述自己陷入的复杂处境，能在对方的回应中找到共鸣。至少，与近期的大模型聊天时是这样的。但若将同样冗长的提问抛给有限的人脑，关键信息总会在中途莫名丢失 —— 对方的注意力开始游离，迫使你不得不重复重要信息。每当此时，我的本能反应是寻找付费升级更大模型的途径，随即才想起人脑并没有升级选项。最多只能让对方好好睡一觉，或许能将其从「快速模式」切换到「思考模式」 —— 但这并非对所有人都有效。
03 训练数据的范围过于狭窄
我兴趣广泛，每天都可能热衷于讨论从系统内核到音乐、从文化到宗教的各种话题。我知道只需精心设计提示词，抛给任何主流大模型，几乎都能获得对我所感兴趣话题的新颖见解。但若向人类提出同样的提示词，回应往往是礼貌的点头伴随明显的心不在焉，或只是对问题本身的复述，又或是几句关于「事情本该如此」的空泛评论。事实上，能真正理解我在说什么的人非常稀少，以至于每次遇到都像处于梦幻时刻。随着真正优质模型的普及 —— 姑且在此称为“受过良好教育”的 AI，通过人工智能寻找具有共同知识基础的对话伙伴已轻而易举。照这样下去，我恐怕对结交新朋友也提不起什么兴致了。
04 重复犯同样的错误
上下文窗口小、参数量少的模型似乎很难从错误中吸取教训。这本不该是人类的问题：我们的长期记忆以数十年计，关键记忆还会被情绪强化。然而，情况往往是，我不得不在同一场对话中一遍又一遍地指出同样的逻辑谬误！我总以为，只要明确指出推理中的错误，大脑理应立刻将其视为一次重要的更正并加以应用。但事实证明，神经连接的重塑速度似乎存在某种根本性的限制。如今习惯了与能即时利用新信息的最新模型对话，我的耐心已被消磨殆尽 —— 再也难以忍受一遍遍重复自己说过的话。
05 无法进行泛化，难以举一反三
发展到现阶段，我们已经可以向模型解释某个具体情境中发生了什么，然后观察它将学到的规律灵活迁移到另一个相似情境中，人类却做不到这一点。当我指出某个原理同样适用于其他情境时，对方的反应往往落在两个极端之间：一端是彻底的茫然不解，另一端则是为了保全面子而辩称“这不能类比，因为情况不同”。说到底，类比的意义不正是把相同的原理套用到不同情境中吗？既然如此，又何必找“情况不同”这种借口？久而久之，我干脆只跟 AI 探讨这类问题，不再拿它们去“麻烦”人类了。
06 无法落实到具体情境
这恰是上一个问题的反面：当一个原理以抽象形式提出时，人往往无法将其套用到具体场景中。事实上，我这一生都在自己身上观察到这种“failure modes”（译者注：作者刻意将人类对话中的毛病（如絮叨、健忘、固执己见）戏称为“failure modes”） —— 虽说很多物理定律听起来“简单明了”、似乎一学就懂，但真要我亲手算算下一次日食还有多久，却依然难以下手。如今我越来越懒得自己费力推演，而是直接向最新大模型丢个简短提示词，几秒钟就能拿到靠谱答案。换句话说，这些模型正在让我逐渐疏离的，不光是那些“毛病不少”的人类同伴，甚至还有我自己那套缓慢却属于自己的思考方式。
07 持续性幻觉
从医学角度理解，“幻觉”指在缺乏外部刺激的情况下感知到不存在的事物（如听到不存在的声音、看到不存在的人影），且患者往往并不自知这是假的。由于我们无法直接窥探模型的“内在心智活动”，于是我们将它们输出的每一个错误事实都称为幻觉。“幻觉”（hallucination**）一词的含义，正从医学上的“感知到不存在的事物”，逐渐滑向一种更宽泛的日常用法 —— “单纯地犯错，而且固执地一错再错”。而这种“明知有误却拒不修正”的现象，已经困扰人类数世纪之久。去翻翻科学支持者与宗教拥护者之间那些火药味十足的争论便知（仿佛这两者天生就该水火不容似的！）。当模型出现“幻觉”时，通常只需补充更多上下文和证据，它便能迅速纠正。但同样的方法用在人类身上，却往往收效甚微 —— 即便摆出铁证，人们仍可能固执地抱守错误信念。
08 结语
接下来我们该何去何从？一种观点认为，大语言模型正在侵蚀人与人之间的情感联结 —— 就像大约十年前，社交网络曾用更浅薄、模拟化的互动取代真实的人际联结，从而威胁到人与人之间的情感纽带一样。另一种更愤世嫉俗的解读是：人类或许该考虑被“增强”或直接让位于更强大的智能形态了。我倒觉得我们尚未走到那一步，但某种程度的“替代”已然发生：我再也不会请人编写千行以下的程序了，毕竟 LLM 能做得更好。
说来讽刺，我为何还要亲自写这篇文章？我让 GPT-5 补充更多“failure modes”（译者注：作者刻意将人类对话中的毛病（如絮叨、健忘、固执己见）戏称为“failure modes”），结果它给出的例子比我从人类那里能搜集到的还要丰富：
除前述问题外，人类的行为还能在多种新近发现的 LLM “病态现象” 中找到对应映照：对话常受困于"instruction drift"（指令漂移），本想讨论具体问题，聊着聊着却滑向寒暄、八卦或情绪宣泄，初始目标早已抛诸脑后；陷入"mode collapse"（模式坍缩），面对复杂话题，人们倾向于躲进"我觉得吧""这事儿不好说"等万能套话，用社交安全取代真实思考；以及沉迷"reward hacking"（奖励黑客），如同模型为刷高奖励分数而钻空子，人类在对话中也常为讨好对方、维持“氛围融洽”而回避尖锐事实，用“场面话”替代真诚交流；人类还频繁"overfit the prompt"（过度拟合提示词），拘泥于字面表述而忽略真实意图；表现出"safety overrefusal"（安全过滤过于严格），恰似 AI 因安全过滤过严而拒答无害问题，人类也常因“怕说错话”“怕惹麻烦”而对本可深入的讨论敬而远之，用“这个我不太懂”早早终结对话。人类的推理过程亦充满跨轮次（across turns）的不一致性，前后矛盾却浑然不觉；更伴有"temperature instability"（温度参数不稳定），疲劳、情绪变化或听众变化，都能让思维质量与表达风格在瞬息间剧烈波动。
END
本期互动内容 🍻
❓在你经历过的对话中，人类曾展现过哪些当前 AI 完全无法复制的“不完美却珍贵”的特质？
原文链接：
