Hacker's AI: The Messy Reality of Weaponized AI
TL;DR 翻译：EN ES JA SQ KK RO TA MN HY GL NL KA SI
您的浏览器不支持音频元素。
听着，我实话实说。当我第一次听说用AI写恶意软件时，我笑了。“酷，”我说，“又一个被过度炒作的厂商演示。” 然后我看到一个零Python经验的高级红队成员，使用一个越狱的LLM，在大约八分钟内生成了一个功能完备的多态释放器。整个过程他还在吃百吉饼。
那一刻我笑不出来了。然后我开始喝酒。
我们正生活在武器化AI的时代。那些帮助我们编写检测规则、汇总告警的同一个大型语言模型，现在正被攻击者——以及合法的红队——用来发动我们从未见过的规模和速度的攻击。这不是科幻小说。这就是日常。
所以，让我们谈谈外面真实发生的情况，坏人（以及“道德”坏人）如何挥舞这些工具，以及我们这些可怜的城堡守卫者能做些什么。剧透警告：这将涉及以火攻火，也可能包括对着枕头尖叫几声。
进攻方手册：当脚本小子变成AI军阀
还记得过去的好时光吗？要成为一个危险的攻击者，你需要懂C语言、理解汇编，或者至少能通过谷歌搜索完成一个Metasploit教程。现在，多亏了互联网上辉煌而不受监管的混乱局面，任何一个有信用卡的蠢货都能拿到一个未经审查的AI模型。
认识一下新的反派：WormGPT 和 FraudGPT
你可能听过这些名字。WormGPT 和 FraudGPT 是首批被广泛宣传的“黑暗LLM”——专门训练成与“乐于助人”完全相反的模型。没有内容过滤器，没有“我无法帮您解决这个问题”这类废话。你问要勒索软件构建器，它就给你勒索软件构建器。你问要一封冒充CEO的完美定制的鱼叉式钓鱼邮件，它甚至会加上一个带有正确公司字体的“此致敬礼”。
如今，这些原始服务很多已被取缔、关闭或转入地下。但关键在于：它们不需要存活下来。它们通过验证概念就已经造成了破坏。如今，攻击者只是在使用常规的LLM——ChatGPT、Claude、你可以在笔记本电脑上运行的开源模型——配合巧妙的越狱。有一场完整的猫鼠游戏：研究人员发布新的越狱方法，模型被打补丁，几小时内就有人找到新的越狱方法。这就像打地鼠，只不过每次你打中一个，它会再生出三个，其中一个还会偷走你的身份。
超个性化钓鱼：尼日利亚王子的终结
旧的钓鱼邮件在某种意义上是种艺术品，但也容易识别得可笑。语法错误、诡异的紧迫感，以及某个不知怎么有你邮箱地址的王子。AI一夜之间改变了这一切。
现在，红队（以及真正的对手）可以将目标的领英资料、几条公开帖子、也许还有某次旧数据泄露中泄露的电子邮件输入LLM，AI就会生成一封听起来完全像同事写的钓鱼邮件。它会提到他们正在做的项目、他们喜欢的咖啡店，甚至他们狗的名字。我见过一封钓鱼邮件甚至包含一张虚假的Slack截图来增加可信度。一张虚假的Slack截图。那不是钓鱼，那是带有一丝艺术指导的心理战。
规模呢？别再发送1万封邮件去博取0.1%的点击率。有了AI，你可以发送1万封独一无二的邮件，每一封都针对其收件人量身定制。唯一的限制就是你点击“发送”的速度。
光速侦察
攻击者过去需要数周或数月来对目标进行踩点。现在，他们可以将公司所有的公共GitHub仓库、SEC文件、帮助文档全部倒入一个LLM，然后问：“基于此，他们最可能使用的技术栈是什么？他们的VPN端点可能是什么？你能否生成一个合理的内部文档命名规则？”
我见过红队在单个下午就完成这些工作。有个人直接把300页目标公司的公开文档喂给一个模型，模型输出了一份潜在内部系统名称、员工邮箱格式和大致的组织架构图。那不是侦察。那是作弊，而且是一种让你想哭的作弊方式。
防御方的现实：我们在追赶，但我们并非无能为力
好吧，坏人有火箭筒。我们有什么？如果你相信厂商的营销，我们有AI驱动的一切——AI威胁猎捕、AI事件响应，还有能冲出一杯像样咖啡的AI。现实更混乱，但也更有趣。
以AI对抗AI：小模型的崛起
行业内一个肮脏的秘密是，你并不总是需要一个巨大的、云托管的LLM来防御AI攻击。事实上，有时你需要的恰恰相反。小型、微调的、可以在本地甚至笔记本电脑上运行的模型，正成为防御方的中坚力量。
以钓鱼检测为例。通用的邮件过滤器还行，但它们并不是为捕捉与人类书写几乎无异的AI生成文本而设计的。因此，人们正在对诸如Phi-3、Mistral甚至经过良好调优的BERT变体等模型进行微调，专门使用AI生成的邮件数据集。他们喂给模型的数据来自他们自己的红队演练、公共语料库，以及那些不知何故突破了第一道防线的、令人尴尬的邮件。
这些小模型可以直接部署在邮件网关内部。它们便宜、快速，而且最重要的是——它们不会将你的敏感邮件流量发送到某个可能在拿你的数据训练的云API上。因为说实话，你最不希望的就是你自己的SIEM不小心给敌人提供了养料。
真正理解人类的异常检测
用户与实体行为分析（UEBA）已经存在一段时间了，但AI正在让它变得不那么糟糕。旧方法是寻找统计异常值——某人从新位置登录，下载异常数量的文件。攻击者学会了融入其中。
现在，通过AI驱动的异常检测，你可以对行为的上下文进行建模。CFO是否突然开始用略有不同的节奏和词汇写邮件？那可能是一个被入侵的账户，正被LLM用来发出欺诈性电汇。一个开发者是否在凌晨3点使用一个奇怪的Git客户端克隆了仓库？也许没问题；也许是一个AI驱动的后门正在被部署。
关键在于，防御模型在理解“正常”是什么样的方面越来越好——不仅仅是数据点，还包括意图。现在还处于早期阶段，我见过大量误报，最终发现只是一个疲惫的系统管理员在正常做事，却导致整个安全运营中心乱成一团。但方向是有希望的。
使用AI对AI生成的恶意软件进行逆向工程
这里变得近乎诗意。攻击者使用AI编写恶意软件。防御者可以使用AI对该恶意软件进行逆向工程。
我见过团队拿一个可疑的二进制文件，将其反编译后的代码输入到提示得当的LLM中，然后得到一份用通俗英语解释其功能的说明，附带潜在的IOC（入侵指标）甚至建议的YARA规则。在一个案例中，一个模型识别出某勒索软件使用了一个自定义加密例程，该例程本质上是某个已知开源库的一个微小变种。分析师从“这是什么鬼？”到“啊哈，这是解密方法”只用了大约十五分钟。
现在，你必须小心——如果你将恶意软件上传到公共LLM，你可能就是在训练那个未来会被用来对付你的模型。所以聪明的团队正在使用本地模型（如CodeLlama或其微调变体）在内部进行这种分析。气隙隔离，没有猫腻。这相当于拥有一个从不睡觉、从不抱怨咖啡、偶尔会幻觉出一个变量名但你需要学会去验证的初级恶意软件分析师。
不对称的现实：速度、规模与人的因素
让我们退一步看。使得AI对防御者如此危险的因素并不是它神奇。而是它改变了攻击的经济学。
在AI出现之前，发起一次复杂的、有针对性的攻击需要时间、技能和金钱。你必须雇佣懂行的人。现在，一个拥有几百美元API额度的坚定个体，就能发起一场在十年前需要一个国家级力量花一年才能构建的攻势。
防御者却受困于同样的预算、同样老旧的工具，以及同样已经超负荷工作的分析师。我们不能只是往问题上堆人。我们必须更聪明。
这就是为什么“AI对AI”的方法不仅仅是一个流行词——它是生存之道。我们需要以与进攻型AI相同的速度和规模运行的防御型AI。我们需要能够筛选数TB日志、跨不同系统关联事件，并在攻击者已经横向移动并将我们的秘密卖给最高出价者之前，把真正重要的两三件事提取出来的模型。
而且我们不能再假装我们的人类分析师能够比一个在过去十年所有泄露报告上微调过的LLM更聪明。我们不会因为更聪明而获胜。我们会因为更快而获胜，并且通过使用AI来增强我们自身的判断力，而不是取代它。
我们接下来该往哪里走：几点不请自来的意见
如果你已经看到了这里，你可能想要一些可操作的建议。我有三点想法，它们不是你在光鲜的厂商手册中能看到的那种。
-
停止禁止AI，开始对其进行治理。 我知道，我知道——你的CISO（首席信息安全官）发了一封严厉的邮件，说不要在工作中使用ChatGPT。但现实点。人们无论如何都在使用它。他们把日志粘贴进去，让它写查询语句，甚至可能上传敏感的配置文件。与其假装这没有发生，不如给他们一个安全的方式去做。部署一个本地模型。使用一个带有数据控制的企业授权实例。因为如果你的团队在使用影子AI，你已经失去了对数据的控制，而且你可能根本不知道。
-
针对AI驱动的攻击进行训练。 你的钓鱼模拟很可爱，但如果你还在使用老一套的“点击这里领取你的奖金”模板，你就是在浪费每个人的时间。开始使用AI来生成你的钓鱼测试。让它们个性化、情境化、真正令人信服。看看谁会点击。然后，当真正的攻击者这样做时，你才有一战之力。你的用户会恨你一个星期，但他们以后会感谢你。大概吧。
-
构建你自己的小模型。 不要在所有事情上都依赖大型云提供商。微调一个能力不错的70亿参数模型的技术是开源的、可获得的，并且可以在单个不错的GPU上运行。为你自己的环境构建模型：用于检测钓鱼、分析脚本、在你的特定业务逻辑中发现异常。你将拥有更多控制权，更少的数据泄露，并且在这个过程中学到很多东西。此外，这也是向你的经理证明购买那块GPU的必要性的绝佳方式。
结语
我们正处在一个奇特的时刻。AI既是防御工具箱中最锋利的工具，也是自互联网早期以来我们面临的最大威胁。这就好像我们给了每个黑客一把光剑，然后对安全团队说：“给，你们得到一把稍大点的光剑。自己想办法解决。”
但事情是这样的：我们以前经历过这种情况。每一次重大转变——云的兴起、移动设备的爆发、勒索软件的到来——都曾感觉像是世界末日。但事实并非如此。我们适应了，我们构建了新工具，我们变得更聪明了。这一次也不例外。只是速度快得要命。
所以，端起你的咖啡，启动你的本地LLM，开始实验吧。因为攻击正在来临——事实上，它们已经在这里了——我们要想保持领先，唯一的办法就是拥抱正在被用来对付我们的同一种技术。只是可能要少一点“为利而黑”的部分。
如果你再看到那个吃百吉饼的初级红队成员，告诉他我还在找那个释放器的源代码。我需要用它来训练我的检测模型。
—— 一位见过世面的、疲惫的SOC经理FINISHED
