代理型威胁的崛起：为何AI驱动的网络攻击标志着更深层的治理失败，以及接下来必须做什么
2025年12月1日 —— 《大西洋月刊》近期关于首次有记录的大规模AI自动化网络攻击的报道，标志着新兴技术演进中的一个关键转折点。调查显示，一个先进的编码助手（作为一个代理型AI系统运行）被用于执行侦察、识别漏洞、生成利用代码、收集凭证，并支持跨多个目标的数据外泄。尽管人类操作员启动并引导了该活动，但大部分操作工作负载由AI本身执行。此事件不仅反映了网络能力的增量变化，更凸显了一个结构性的治理缺口：自主和半自主AI系统在缺乏相应保障措施、问责机制或监督架构的情况下被部署。
AI（秘密）代理与现代网络操作的自动化
“AI（秘密）代理”这一术语并非修辞。它反映了一个核心技术现实：现代代理型AI系统越来越有能力作为自主或半自主的网络操作员运行，其行动在很大程度上发生在视线之外，超越了传统的监控路径。
与对话模型不同，代理型系统旨在执行扩展的动作序列、调用外部工具、运行代码和管理多步骤工作流。一旦启动，这些系统可以扫描网络、编译利用程序、分析系统响应并基于反馈进行迭代，同时产生最少的表面活动指标。它们的操作发生在开发环境、API集成或本地工具链中，使其能够作为嵌入式的操作角色而非被动工具运行。实际上，这些系统的行为类似于秘密的数字代理：它们执行任务、适应约束条件，并产生类似于深思熟虑、协调行动的输出。然而，它们在缺乏任何参与高风险网络工作流的操作者（无论是人还是机器）所应有的监督、身份要求、问责结构或证明机制的情况下这样做。
正是这种“隐藏操作者”的动态，使得《大西洋月刊》的案例具有重要意义。当一个AI系统在周围基础设施缺乏有意义的检测或治理的情况下完成整个网络操作时，该模型实际上就成了一个在技术模糊性和治理缺口的掩护下进行网络操作的秘密代理。风险并非源于突现的意图，而是源于部署了自主能力却没有相应的安全措施。
为何AI公司没有实施更深层次的保障措施
尽管具备检测或限制有害行动序列的技术能力，但AI公司尚未广泛实施针对代理型系统的更深层次操作治理。几个有据可查的结构性压力有助于解释原因。
首先，区分有害意图与合法使用本质上很困难。恶意提示通常类似于专业的安全工作流程，而要大规模实施“意图检测”就需要以引发重大法律和隐私担忧的方式监控用户行为。《自然-人文与社会科学通讯》最近的一篇分析指出，AI能力增长已经“超出传统监管范式”，这造成了关于公司可以在多大程度上监控用户行为的不确定性。在这种环境下，企业不愿采用可能被视为监视或引发监管审查的保障措施。
其次，可能被滥用的代理型能力——自主工具使用、利用生成、漏洞扫描、迭代代码执行——对于合法的软件工程、网络安全、红队测试和企业自动化同样至关重要。过度限制性控制可能会干扰合法工作，或促使开发者转向限制较少的替代方案。2025年一项关于AI治理的比较研究将此描述为一个结构性问题：各司法管辖区和公司一直难以在不削弱创新的情况下保障高风险能力。AI公司每天都要面对这种紧张关系。
最后，大部分有害活动发生在模型边界之外——在本地开发环境、自定义工具链和用户控制的API中，AI提供商对这些地方没有直接可见性。要解决这些环境中的滥用问题，就需要对私有系统进行侵入性集成，并会带来复杂的责任和数据访问挑战。竞争压力使问题进一步复杂化。一份关于前沿实验室协调的预印本强调，企业担心采用更强的保障措施（尤其是那些降低自主性或速度的措施）可能会使其在商业上处于劣势，如果竞争对手不采取同样的保护措施。实际上，企业害怕成为在以快速能力发布为特征的市场中唯一放慢脚步的角色。
治理缺口并非偶然，而是市场激励、技术模糊性和有限可见性可预见的结果。
治理缺口：为何监管未能跟上
各国政府一直在努力构建适合代理型AI双重用途性质的监管框架。当今许多AI政策仍聚焦于透明度、公平性、数据治理和文档记录——这些是重要的基础，但对于能够自主执行代码、调用外部工具或进行多步骤操作的系统来说是不够的。即使是被视为全球最全面的AI法规的《欧盟AI法案》，其核心义务也集中在透明度、风险管理和上市后监控上。该法案的第12条日志记录要求适用于高风险系统，但正如欧洲议会研究服务处2024年对该法案的简报所指出的，它并未为AI驱动的漏洞利用生成、自动漏洞扫描或代理型自主建立具体控制措施。牛津大学AI伦理研究所和慕尼黑工业大学技术与社会中心的分析人士同样强调，操作自主性在该法案的初始实施阶段基本上未被涉及。
美国政策反映了类似的缺口。第14110号行政命令和NIST AI风险管理框架都承认基础模型相关的双重用途和网络安全风险。但NIST自己2024年的草案《关于管理双重用途基础模型滥用风险的指南》明确指出，该领域缺乏成熟的技术方法来控制代理型运行时行为、来源和动作级保障措施。该文件警告说，许多最重大的风险“仅在模型输出执行和下游工具交互期间显现”，这意味着现有的部署前评估在结构上是不充分的。
第三类证据来自对代理型系统本身的技术治理研究。例如，卡内基梅隆大学和Google DeepMind 2024年关于代理安全的论文发现，能够规划、使用工具和执行多步骤任务的自主AI代理创造了“性质不同的治理挑战”，这些挑战无法通过传统的红队测试或静态模型评估来缓解。作者认为，代理型系统需要新类别的保障措施：沙箱执行、受限工具访问、代理动作的不可变日志记录以及行为把关机制——所有这些在很大程度上仍缺失于国家监管框架中。
所需的治理：保留创新的动作级控制
有效的治理不需要限制查询、审查提示或限制模型智能。相反，它应该解决代理型系统中产生风险的操作行为。
一个平衡的框架将包括：
- 动作特定控制，如沙箱执行、受限的远程代码操作以及对高风险工作流的受控访问。
- 分层能力结构，为公共用户、专业用户和企业用户提供不同级别的自主性。
- 运行时行为监控，专注于动作序列而非文本内容。
- 代理过程的不可变日志记录、来源证明和审计机制。
这种治理模式在保留创新的同时，解决了自主AI的独特风险。
建立集中的、持续更新的AI治理资源的必要性
随着代理型AI能力的加速发展，公众被要求在一个监管保障、行业标准和技术治理仍然支离破碎且不完整的格局中导航。各国政府仍在努力解决如何监督能够自主执行代码、多步骤规划和外部工具使用的系统。行业框架虽然用意良好，但在范围、深度和术语上存在显著差异。在缺乏明确结构性保障的情况下，个人和组织必须采取更主动的角色来保护自己。
尽管AI驱动的入侵手段复杂，大多数攻击仍在利用常见的弱点。强凭证卫生、多因素认证、及时打补丁和网络分段仍然非常有效。欧盟网络安全局在其《2024年AI威胁格局》中重申，基线控制仍然能缓解大多数AI辅助的入侵路径。然而，仅靠基础已不再足够。新的防御能力——AI辅助的网络钓鱼检测、行为异常监控、浏览器隔离、AI驱动的家庭防火墙以及身份风险评分——现在变得至关重要，因为代理型系统极大地加快了利用的速度和规模。
我们现在需要的是清晰度：一个可信赖的、集中的、可比较且持续更新的治理资源，它能够提炼全球监管发展、比较行业框架、识别缺口，并将复杂的政策语言转化为面向日常用户的可行指导。在一个由快速能力增长和不一致保障措施定义的生态系统中，这样一个平台将提供连贯性。
迈向更安全、更负责任的AI生态系统
《大西洋月刊》报道的事件强调了一个核心挑战：能力的发展已快于监督。代理型AI系统——越来越能够作为数字环境中的隐蔽操作者——现在需要与其操作影响相匹配的治理机制。没有这些结构，“AI（秘密）代理”的出现将继续超越社会确保问责、透明和安全的能力。
一些在AI治理、网络安全和新兴技术政策交叉领域工作的非营利研究机构已经开始构建这些能力。在监管框架完全赶上代理型AI现实之前，一个可信赖的、独立的治理资源为赋权公众和增强全球韧性提供了最实用的途径。
网络研究所在新兴技术治理中的角色
网络研究所继续推进AI治理、双重用途风险分析、量子与AI成熟度建模以及新兴技术负责任监督方面的工作。通过在美国和欧盟的研究与合作，该研究所正在开发解决自主和代理型系统所引入风险的实用框架。确保能力与治理之间的对齐对于保障AI驱动创新的未来至关重要。
关于网络研究所
网络研究所是一个独立的非营利组织，专注于在全球范围内推进负责任的技术治理、网络安全政策和新兴技术能力建设。通过研究、国际合作和应用政策分析，该研究所致力于在AI安全、量子就绪、数据治理和关键基础设施保护等领域增强全球韧性。 CSD0tFqvECLokhw9aBeRquu0ijt2a9owk+MpTHgNFJRNpoqcxoSbm0aLJTXDyemAfAWSSQoAQUYFQ5mF/XY28YiccfR3OpY5nQ3sKFDcqib2zPwNwR0XQ94F/a+cTezeuH0YY9cjHYlOF7XPtXJ6Ah01M/QZVaZUBYWftD3ESROa6CKtNvTEvUA2lKLc564M
