Agentic AI的人机协同（Human-in-the-Loop）策略

安思派Anspire
196 阅读12分钟

  1. Agentic AI简介

围绕ChatGPT（广义上是生成式AI）的讨论，如今已演变为对agentic AI的探讨。ChatGPT主要是一个能生成文本响应的聊天机器人，而AI agent则可以自主执行复杂任务，例如：完成销售、规划旅行、预订航班、预约承包商处理家庭事务、订购披萨等。下图展示了agentic AI系统的演进。图1展示了agentic AI系统的演进。

图1：Agentic AI的演进

比尔·盖茨最近构想了一个未来，届时我们将拥有能处理和响应自然语言并完成多项不同任务的AI agent。盖茨以规划旅行为例，通常情况下，这需要你自己预订酒店、航班、餐厅等。但AI agent能够利用对你偏好的了解，代表你预订和购买这些服务。

简而言之，AI agent之所以如此受欢迎，是因为原则上它们可以应用于当今任何手动执行的企业流程。我们基本上可以将所有事物“agent化”，从客户服务台到工业流程（例如HVAC优化），甚至可以利用agent构建底层软件、数据和机器学习工程管道。

尽管agentic AI系统的优势显而易见，但它们也是复杂的系统，难以以可靠且自主的方式运行。

鉴于当前大语言模型（LLMs）/推理模型的不可靠性，很难建立必要的防护机制，以确保自主agent能够可靠运行并符合适用的监管政策和控制要求。

人机协同（Human-in-the-Loop，HITL）干预策略在这方面展现出了潜力，研究表明，在任务完成方面，人机协作模型的效果要好得多。它们在为当今的自主agent提供所需的人工监督方面也发挥着关键作用——以满足任何大型企业的法律和合规要求：）

为此，我们建议将人类作为核心参与者整合到agentic生命周期中（而不仅仅是作为监督者/审核者），并提供适当的UI/UX来支持此类交互/干预。

  1. Agentic AI生命周期管理

构建和运行AI agent所涉及的典型阶段如图2所示。

图2：Agentic AI生命周期管理

首先，我们需要定义用例（use-case）：这包括定义问题陈述、理解其业务背景、数据需求和可用性，以及为agentic AI解决方案设定明确目标，量化投资回报率（RoI）。

其次，我们需要一个推理模型/大语言模型（LLMs）、agent和工具的市场（marketplace）——事实上，临时定义agent和构建企业工具集成在实践中并不可行：）

例如，Agent2Agent（A2A）协议规定了Agent Card（一个JSON文档）的概念，它作为agent的数字“名片”。它包含以下关键信息：

  • 身份（Identity）：名称、描述、提供者信息。

  • 服务端点（Service Endpoint）：可访问A2A服务的URL。

  • A2A功能（A2A Capabilities）：支持的协议特性，如流式传输（streaming）或推送通知（pushNotifications）。

  • 认证（Authentication）：与agent交互所需的认证方案（例如“Bearer”“OAuth2”）。

  • 技能（Skills）：agent可执行的特定任务或函数列表（AgentSkill对象），包括其ID、名称、描述、输入模式（inputModes）、输出模式（outputModes）和示例。

客户端agent随后可以通过解析相应的Agent Card来发现远程agent——以确定远程agent是否适合特定任务、如何构造针对其技能的请求，以及如何安全地与其通信。

同理，模型上下文协议（MCP）为动态工具发现（dynamic tool discovery）规定了类似机制。通过mcp:// URI，agent可以解析和检索有关工具能力、需求和交互方法的全面元数据信息。

A2A和MCP均基于agent和工具的文本/自然语言描述。在之前的一篇论文中，我强调了在某些场景下这可能不够充分，我们需要一种更正式的、基于能力/约束的发现模型，以实现工具和agent的精确且自动化的发现。

第三，我们需要设计agentic逻辑（实现目标的计划）。这里，我们需要区分确定性（deterministic）agent和自主性（autonomous）agent——因为它们的设计和执行方式大不相同。

对于确定性agent，这主要需要在一开始就（静态地）定义一个编排模式，其中包含预先确定的agent/工具。相比之下，对于自主性agent，这仅限于将用例目标作为提示（prompt）提供给LLM/推理模型。

然后，规划器动态定义执行计划，并能够在过程中调整计划——基本上是基于内存中的观察对环境做出反应。

第四，我们需要考虑优化agent的部署以用于推理（inferencing）。随着生成式AI的发展以及LLM的庞大尺寸，人们重点关注于将LLM优化/量化为小语言模型（SLMs）。鉴于当今大多数agent聚焦于企业工作流，这一点的优先级似乎有所降低。

我相信，一旦有更多agent投入生产，成本优化和能效将重新成为焦点。

因此，这一阶段包括主动思考如何优化agentic部署——甚至能将它们部署在边缘设备（edge devices）上。

最后，我们讨论治理层（governance layer）。说实话，没有这一层，任何agent都无法在企业中投入生产——实际上也不应该被允许投入生产。一个恰当的例子是摩根大通首席信息安全官（CISO）广泛流传的一封信，信中强调了对安全且具韧性的agentic架构的需求。

随着OpenAI的Agent SDK发布，防护机制（Guardrails）似乎也已成为agentic AI生态系统中的核心要素。

总体而言，端到端可观测性（end-to-end observability）至关重要，不仅能帮助agent从陷入停滞的场景中恢复，还能为agent开始偏离脚本的场景提供回滚策略（rollback strategies）。

简而言之，关键结论是：在生产环境中构建可靠且可信的agent，远不止编写几行代码那么简单：）

  1. Agentic AI参考架构

图3展示了一个agentic AI平台的关键组件，这些组件可适配前一节中确定的生命周期阶段：

  • Agent（及工具）市场

  • 规划器——推理层

  • 个性化层

  • 编排层

  • 可观测性层（包含日志记录、检查点等）

  • 集成层（与企业系统集成）

  • 共享内存层（长期和短期内存）

图3：Agentic AI平台参考架构

给定一个用户任务，我们向LLM提示进行任务分解——这是与生成式AI的重叠之处。遗憾的是，这也意味着如今的agentic AI系统受限于大语言模型（LLMs）的推理能力。例如，GPT4对以下提示的任务分解：

“生成一个定制化电子邮件营销活动，以在1个月内实现100万美元的销售额。相关产品及其性能指标可在[url]获取。连接至CRM系统[integration]以获取客户姓名、电子邮件地址和人口统计详情。”

详情如图4所示：（分析产品）——（确定目标受众）——（创建定制化电子邮件营销活动）。

图4：营销活动的agentic AI执行过程

随后，LLM会监控执行过程/环境，并根据需要自主调整。在这个案例中，agent意识到无法实现销售目标，于是自主新增了以下任务：

（寻找替代产品）——（利用客户数据实现电子邮件个性化）——（执行A/B测试）。

这就需要一个个性化层。类似于将LLM微调到特定领域的LLM/SLM，我们认为，为了推动（通用）AI Agent在企业中的采用，需要结合企业特定场景（相关用户角色和用例）对其进行定制/微调。

图5展示了基于用户角色对AI Agent进行微调的参考架构。

图5：基于用户角色的AI Agent微调

鉴于需要编排多个agent，因此需要一个集成层来支持不同的Agent交互模式，例如Agent-to-Agent API、提供供人类使用的输出的Agent API、人类触发AI Agent、带有人机协同的AI Agent-to-Agent。这些集成模式需要得到底层AgentOps平台的支持。

还需要提及的是，大多数用例都需要与企业系统（例如本案例中的CRM）集成。例如，MCP通过（动态地）将工具连接到存储企业数据的外部系统来实现这一点。

由于此类复杂任务具有长期运行的特性，内存管理是agentic AI系统的关键。初始电子邮件营销活动启动后，agent需要对该活动进行为期1个月的监控。

这既需要任务间的上下文共享，也需要在长时间内维持执行上下文。

标准的做法是将agent信息的嵌入表示存储到向量存储数据库中，该数据库可支持最大内积搜索（MIPS）。为了快速检索，会使用近似最近邻（ANN）算法，该算法返回近似的前k个最近邻，以一定的准确性为代价换取极大的速度提升。

图6展示了agentic AI系统的全面内存管理，包括短期和长期内存模块。

图6：Agentic AI内存管理

  1. Agentic AI风险管理

随着越来越多的agentic AI系统投入生产环境，人们对其风险的关注度日益提升。我没有重新罗列风险，而是整合了以下两份参考文献中确定的风险：

  1. OWASP白皮书：《Agentic AI——威胁与缓解措施》，2025年。

  2. IBM白皮书：《Agentic AI中的责任与风险》，2025年。

R1-15对应参考文献[1]中确定的风险。括号中（）的内容对应参考文献[2]中确定的相应风险。R16：基于角色的偏见（Persona-driven Bias），这一风险很有意思，它在[2]中被提及，但在[1]中未出现。

  • R1：目标不一致与欺骗性行为（动态欺骗）

  • R2：意图破坏与目标操纵（目标不一致）

  • R3：工具滥用（工具/API滥用）

  • R4：内存污染（Agent持久性）

  • R5：级联幻觉攻击（级联系统攻击）

（安全漏洞）

  • R6：权限泄露

  • R7：身份伪造与冒充

  • R8：意外远程代码执行（RCE）与代码攻击

（运营韧性）

  • R9：资源过载

  • R10：抵赖与不可追溯性

（多Agent合谋）

  • R11：多Agent系统中的恶意Agent

  • R12：Agent通信污染

  • R13：针对多Agent系统的人为攻击

（人工监督）

  • R14：人为操纵

  • R15：人机协同中的人力过载

  • R16：（基于角色的偏见）

从风险缓解的角度来看，有趣的是，缓解措施通常被交给一个中央防护机制（guardrails）层。然而，这并不现实，防护机制需要针对具体的底层用例，并在其相应的平台组件/层中实现——这直接影响整体解决方案架构。

Agentic AI组件与风险-架构的映射如图7所示。

图7：Agentic AI风险与平台架构的映射

  1. AI Agent的人机协同（Human-in-the-Loop）干预策略

在本节中，我们概述一个框架，将人类作为核心参与者整合到agentic生命周期中，而不仅仅是作为监督者/审核者。这也意味着需要设计适当的UI/UX，以允许人类在正确的时间对正确的任务进行干预。（与agentic状态检查点类似，征求人类反馈的频率和格式很重要。）

以下是需要规划的关键人工干预点列表——如图8所示：

图8：Agentic AI的人机协同干预点

  • 协同规划（Co-plan）：验证并规划，确保生成的计划（编排图）与给定的用户意图一致。

  • 协同执行（Co-execute）：如果Agent/工具的响应不符合分配的任务，或者人类认为Agent无法实现其（长期）目标，用户可以间歇性地暂停（中止）执行并提供反馈。

  • 协同合规（Co-comply）：用户可以标记关键且不可逆的任务（例如付款），并在批准任务前确保已应用符合企业政策的适当防护机制。

  • 协同记忆（Co-memorize）：优化内存，审查关键的长期记忆（long-term memory）概念，优化存储，确保可重用性和Agent性能优化。

这些会由一个持续改进模块进行补充，该模块从历史交互中学习，以优化未来的人工干预。

  1. 结论

企业对自主AI Agent的采用目前正经历一场信任与可靠性危机。为此，我们概述了一个将人类作为核心参与者整合到agentic生命周期中的框架。

这有两方面的好处：一方面，人类作为协作者指导agentic执行，克服当前LLM的“推理”局限性；另一方面，从合规角度来看，人类为自主Agent提供必要的监督/防护机制。

我们认为，有效的人机协同（HITL）策略有望优化多个agentic方面，例如规划、个性化和合规（责任）；因此，它将对推动企业采用agentic AI至关重要。

avatar
文章
阅读
粉丝