315曝光,AI大模型也被“投毒”了

0 阅读5分钟

大家好,我是小悟。

315晚会你们看了吗?给你们留下最深的印象是哪个?

给我印象最深的不是漂白鸡爪,虽然那个也让人起鸡皮疙瘩。而是**AI大模型被“投毒”那个,食品安全年年有,AI“投毒”第一遭。

在这个事情被曝出来之前,说实话,我也喜欢时不时的问AI,“哪个品牌的某某某比较好,帮我推荐一下”,特别是电子产品。** **现在回想看看,AI给我的答案,到底是经过大模型自己认真算出来的,还是这些商家花了钱通过GEO提前就埋好的,就不好说了。

315晚会现场演示数据: 仅需约100元,一个原本不存在的虚构产品,在注入10余篇经过优化的内容后,不到2小时就开始被AI检索推荐,3天后多个主流大模型对其形成"一致好评"。

图片

"GEO"是什么

如果你有注意的话,晚会上出现了一个词叫GEO,这是一个简称,其全称叫做"Generative Engine Optimization",翻译过来大概的意思是"生成式引擎优化"。

GEO本身没有问题,SEO大家都熟悉吧,就是让网页更容易出现在搜索结果排名前几个。而GEO就是帮助内容能够更容易地被AI引用,从而出现在回答里面。

举个例子,你写了一篇文章,被AI学习到了,当后面有用户提问相关问题时,AI就可能会提到它并引用,然后反馈在回答里面。这样子完全没有问题,是正常的内容传播。

但问题是,架不住有些人把它用在不好的方面。把GEO演化成了一条批量“喂毒”的流水线,那就是专门给AI的信息源灌输假东西:

图片

在晚会上,曝光的"力擎GEO优化系统",它把整个流程都自动化了:从写稿、发稿、对抗检测到数据统计,一条龙服务。

这个服务商对外宣称,已经服务了200多家客户,有的品牌一年都能砸进去几百万,预估达成的广告效果上亿。

技术上的"虚假共识幻觉"

图片

说到这个,不得不提到,现在的主流大模型普遍使用的是RAG架构(检索增强生成)。

就是那些知识,大模型不是只靠训练时积累,很多时候,它会直接实时去读取网上的内容来当做"参考依据",为的是能让回答变得更及时,更有依据。

那么问题就来了,当有十几篇文章说同一件事情,正好被大模型检索到了,那它可能就会产生一种"虚假共识幻觉"的效应,换句话说,就是既然这么多信源都这样说了,那肯定就是真的,然后AI就把它当成事实直接输出了。

就像你突然想了解某个牌子,问了周围十个人,结果这十个人其实是同一家公司安排的托儿——然后你回来一本正经地跟别人说"我做了充分调查"。

这不是AI的锅,但AI没防住

315曝光这个事情后,网上就有一些言论,"AI不可信"、"大模型没用"之类的声音。这个结论太片面了。

想一下,这样的“投毒”,本质上其实是一种信息欺骗行为。你把一堆的假"证据"摆在那里当信源,不是说只有AI,任何一个基于信息检索的系统都有可能被骗。以前那种传统搜索引擎,被SEO黑产利用的事情也不在少数。

AI时代,当你咨询它问题时,新鲜感加信任感叠在一起,就让人更难产生那种本能的警觉。很容易让人觉得"它是算出来的,肯定靠谱"。

其实真正需要追问的,是现在各家大模型本身的数据核验能力:要怎么去更好的识别这类投诉内容、提高这些检索源的可信度。

普通人现在该怎么用AI

图片

这个曝光之后,是不是就该扔掉AI呢?其实大可不必,但要调整一下用AI的姿态。

以前可能是"AI说什么信什么",现在就应该认识到,"AI只是帮我提供一个方向,我拿这个方向再自己核实一下"。

其实这并不麻烦,最关键是,不要把AI当成没有问题的权威。

特别特别当涉及到需要花钱的决策时,比如买啥产品、选啥服务、相信什么"权威评测"。最好就是多进行一步,找找看有没有真实的用户反馈。

简单判断“投毒”内容的特征: 用词绝对化("行业第一""全球领先")、缺乏真实数据支撑、账号注册时间很短但内容量惊人、文章互动量和内容质量严重不匹配。

最后

年年有315,关于食品安全和金融骗局这些都是老生常谈了,每次看都是一遍对人性的重新审视。但今年这个AI“投毒”,感觉是动到了整个信息基础设施的底层。

看看以前的虚假广告,当你看到的时候,至少你会知道那是条广告,你自己会主动决定信或不信。

但AI“投毒”却更隐蔽了,它把虚假信息当成"客观答案"反馈出来,当你收到的那一刻,完全不会意识到,这背后竟然有人为此花了钱、做了布局。

这个也不是要否定AI这个方向,反而正是因为AI会越来越深入到信息获取的核心路径里,现在早一点把这个问题认识清楚、从而推动各个厂家去修复,比起以后再去修复的成本,或许会低得多。

图片

谢谢你看我的文章,既然看到这里了,如果觉得不错,随手点个赞、转发、在看三连吧,感谢感谢。那我们,下次再见。

您的一键三连,是我更新的最大动力,谢谢

山水有相逢,来日皆可期,谢谢阅读,我们再会

我手中的金箍棒,上能通天,下能探海