AI代理正挑战传统授权系统,因其缺乏人类约束,易暴露过度配置的权限。建议:1.分配复合身份,区分人与AI;2.全面监控AI活动,跟踪其在多系统的行为;3.建立透明责任制,定期审查AI行为并问责。负责任地部署AI至关重要。
译自:3 Ways Security Teams Can Tame Autonomous AI Agents
作者:Josh Lemos
安全专业人士深知内部威胁的危险:即在企业内部运作的,怀有有害目的的对手或个人,无论他们是员工、经过审查的第三方供应商,还是具有较高权限的合作伙伴组织。
然而,我们正在目睹另一种内部参与者的出现,他们缺乏恶意,但也没有人类意识。自主AI系统,尽管作为其人类操作者的代理,但正逐渐取代传统的决策过程,并暴露已建立的访问控制机制中的漏洞。
AI 代理已经展示了它们如何挑战传统的授权系统。这是组织必须重新评估的一个安全领域,否则可能会在软件环境中引发混乱。
适用于人类的方法不适用于代理
授权(AuthZ)是关于管理用户对资源的访问:确保用户只能做他们被允许做的事情。
然而,重要的是要注意,AuthZ系统不一定能阻止用户可能尝试做的一切。大多数现有的AuthZ系统都是基于这样的假设进行威胁建模和构建的:法律、社会谴责风险或习惯等外部因素将限制人类的不当行为。
因此,当AuthZ系统过度配置访问权限时,通常不会成为问题。过度配置的情况一直都在发生。例如,当有人刚加入公司时,复制现有的角色集合到他们的帐户,而不是仔细考虑他们需要访问什么,会更容易。到目前为止,前面提到的外部因素意味着这种方法通常不会造成重大问题。
当AI代理寻求完成他们的任务时,他们没有这样的约束。因此,代表人类行事的代理可能会开始暴露这些用户过度配置的访问权限和角色。
加强AI治理的三种方法
安全团队可以通过积极采纳新兴的最佳实践来降低其AuthZ系统的代理安全风险。有效的治理将发挥重要作用,组织可以从关注三个领域开始:
1. 分配复合身份
目前,身份验证(AuthN)和授权(AuthZ)系统无法区分人类用户和AI代理。当AI代理执行操作时,它们代表人类用户行事,或者使用基于以人为中心的AuthN和AuthZ系统分配给它们的身份。
这使得回答以前简单的问题变得复杂,例如:谁编写了这段代码?谁发起了这个合并请求?谁创建了这个git提交?
它还提出了新的问题,例如:谁告诉AI代理生成这段代码?代理需要什么上下文来构建它?AI可以访问哪些资源?
复合身份提供了一种通过将AI代理的身份与指导它的人类联系起来来回答这些问题的方法。当AI代理尝试访问资源时,现在可以安全地授权和验证其请求。
2. 采用全面的监控框架
运营、开发和安全团队需要方法来监控AI代理在多个工作流程、流程和系统中的活动。例如,仅仅知道代理在代码库中做什么是不够的。公司还必须跟踪代理在暂存和生产环境中的活动,以及在相关的数据库和它可能访问的任何应用程序中的活动。
最终,组织甚至可能开始使用自主资源信息系统(ARIS),它与现有的人力资源信息系统(HRIS)并行,使团队能够维护自主代理的配置文件,记录它们的能力和专业领域,并管理它们的操作边界。
3. 拥抱透明度和责任制
无论有没有复杂的监控框架,组织及其员工都需要在部署AI时保持透明。他们需要为自主AI代理建立明确的责任结构。人类需要定期审查代理的行为和输出,更重要的是,如果代理超出其范围,需要有人承担责任。
优先考虑负责任的AI部署
AI代理的非确定性本质将在软件开发中带来显著的创新和突破。它们也肯定会推动现有AuthZ系统的边界。但它们不需要成为混乱的代理。
安全框架通常比技术能力发展得更慢,这要求我们在进步和保护之间找到平衡。一个恰当的比较是过去十年向云计算的转变。负责任的采用始于现在建立正确的治理框架,以便代理成为软件开发团队值得信赖的合作伙伴。