AgentLoop × Qoder:采集自动装,审计直接问

0 阅读18分钟

作者:熊芸

背景

AI Coding 和办公 Agent 已经成为组织的日常工具,管理者随之需要回答一些具体问题:团队在用哪些 Agent,每天消耗多少 Token,这些 Token 花在了什么工作上,Agent 执行了哪些命令、读写了哪些文件,有没有敏感信息进入了模型上下文。

落地时通常卡在三处:

  • 采集器很难装到每个人的电脑上。 依赖“请大家执行一条安装命令”,总有人没看到通知、环境不兼容或装完就忘;管理员还要逐项准备上报地址、Trace 凭证、日志写入凭证,再打包分发。
  • 数据有了,分析门槛仍然高。 想看部门用量、Token 去向,要先弄清数据表和字段,再写 SQL、搭仪表盘、调筛选与下钻。
  • 审计结果分散在控制台。 风险事件、用户意图要进控制台逐页翻看,想按自己关心的范围做一次排查,同样要从写查询开始。

图片

现在,阿里云 AgentLoop 插件已上架 Qoder 插件市场,三件事都可以在 Qoder 桌面版里用一句话交给 Agent:

  • 说“安装采集器”,插件生成企业安装包,通过 Qoder 企业专属市场推送给成员,成员打开 Qoder 开始使用,会话启动(SessionStart)时自动安装。
  • 说“近 7 天各 Agent 消耗了多少 Token”,插件把问题转成查询并返回结果;说“把这些生成一份报表”,插件先给出本地预览,确认后发布为仪表盘。
  • 说“近 7 天出现了哪些风险”“这些 Agent 大部分时间在做什么”,插件直接查询风险事件与用户意图,并给出可以核查的会话。

方案介绍

▍方案组成

整套方案由以下几部分组成,各自负责一段工作:

  • AgentLoop 插件 [ 1] : 装在管理员的 Qoder 桌面版中,在对话里生成企业安装包、查询数据、生成报表。
  • loongsuite-pilot-installer: 由插件打包生成的安装插件,通过企业专属市场下发到成员的 Qoder,会话启动时自动安装、拉起采集器。
  • LoongSuite Pilot [ 2] : 运行在成员电脑上的本地采集器,自动发现 Qoder、Cursor、Claude Code、Codex 等 20 余种 AI Coding Agent,把它们的活动统一为同一套事件格式后上报。
  • Qoder 企业专属市场 [ 3] : 位于 Qoder 企业版控制台,按分组或全员把安装包推送给成员。
  • AgentLoop [ 4] : 阿里云企业级 Agent 自进化平台,基于 SLS 与云监控 2.0,以 AgentSpace 为单位存储审计事件与 Trace,提供审计查询、Token 分析、风险检测和用户意图分析。

▍插件能力

AgentLoop 插件内置四项技能,覆盖采集、分析、报表三个环节。管理员不需要记住技能名称,用自然语言描述目标,Agent 会选择合适的技能完成。

图片

  • 采集由 agentloop-collector-setup 负责: 登录阿里云、选择 AgentSpace、生成企业安装包,也负责切换账户和查询目标。
  • 分析与审计查询由 agentloop-audit-query 负责: 内置行为分析、Token 分析、风险概览、风险浏览、用户风险、意图审计、拦截记录和实体调查等查询目录,自动选择数据源与统计口径。
  • 报表由 agentloop-audit-dashboard 与 sls-dashboard-builder 配合完成: 前者负责 AI Agent 事件的指标口径,后者负责图表、筛选器、点击下钻和发布。

▍整体流程

图片

从管理员生成安装包,到成员上报数据,再到分析与审计,整条链路分三段:

  1. 配置段(①–④,管理员本机)。 管理员选定 AgentSpace 后,插件自动取回上报所需的地址和凭证(未开通的能力会顺带开通),写入安装插件并打包为 zip。
  2. 下发段(⑤–⑦,企业专属市场)。 管理员把 zip 上传到 Qoder 企业专属市场并配置下发范围,成员的 Qoder 会话启动时自动完成采集器安装;之后进程退出会自动拉起,配置更新会自动覆盖,不改动成员本机的已有环境。
  3. 使用段(⑧,插件查询与报表)。 采集器把数据上报到所选 AgentSpace,AgentLoop 在此基础上做风险检测和意图分析;管理员直接调用插件提问或生成报表,结果在对话中返回。

企业管理员实践

了解了整体链路,接下来从一个全新的阿里云账号开始,一步步完成:先准备 AgentSpace 和权限,再在 Qoder 中生成安装包、通过企业专属市场下发给全员,最后在对话中查询、分析和审计。

▍部署准备

开始前,只需准备好:

  • 一个已实名认证的阿里云账号;
  • 已开通 Qoder Enterprise 的组织,以及组织管理员权限;
  • 管理员本机安装好 Qoder 桌面版。

整体操作分为七步,前两步只需做一次:

图片

▍步骤一:开通 AgentLoop 并创建 AgentSpace

AgentSpace(智能体空间)是 AgentLoop 中组织和管理资源的基本单元。每个 AgentSpace 绑定一个云监控 2.0 工作空间和一个 SLS Project,采集器上报的审计数据都归属到这里。

  1. 开通 AgentLoop。 登录日志服务控制台 [ 5] ,在顶部「日志应用」导航中选择 AgentLoop,按页面提示完成开通。
  2. 新建空间。 登录 AgentLoop 控制台 [ 6] ,在首页单击「新建空间」,选择地域、填写空间名称,其余参数保持默认即可。各参数的详细说明见创建智能体空间 [ 7] 。
  3. 确认资源就绪。 单击「新建空间」后,系统会自动创建 SLS Project 和 MSE AI 治理中心命名空间并完成绑定。进入「系统管理 → 空间管理」,确认云监控 2.0 工作空间和 SLS Project 均已就绪。

图片

  1. 开启审计检测。 需要查询风险或用户意图时,进入「审计管理 → 检测配置 → 编辑」,选择需要检测的范围并开启检测项。基础检测检查敏感信息与敏感文件;高级检测覆盖提示词注入、非预期执行、破坏性操作等风险,开启后用户意图分析也会自动开启。详见审计管理 [ 8] 。

▍步骤二:准备 OAuth 授权

授权分两层:RAM 管理员做一次账号级准备;之后每位使用插件的人在首次使用时完成一次浏览器授权(步骤四中自动触发)。

1. 安装官方 CLI 权限(RAM 管理员,一次性)

登录 RAM 控制台 [9 ] ,依次选择「集成管理 → OAuth 应用 → 第三方应用 → 安装官方应用」,安装「官方 CLI」(official-cli)。已安装过则跳过。

图片

图片

2. 分配给使用插件的身份

进入官方 CLI 详情页的「允许访问的身份」页签,单击「添加用户或角色」,勾选要使用插件的 RAM 用户或角色。

图片

3. (推荐)为插件准备最小权限的 RAM 用户

官方 CLI 应用的授权范围无法修改,OAuth 登录后拥有的就是该 RAM 用户本身的全部权限。如需收敛,建议创建一个专用 RAM 用户,只授予下面这份策略,并把它加入上一步的分配列表。这份策略覆盖生成安装包、分析查询和审计查询:

{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": "agentloop:DescribeRegions",
      "Resource": "*"
    },
    {
      "Effect": "Allow",
      "Action": ["agentloop:ListAgentSpaces", "agentloop:GetAgentSpace"],
      "Resource": "acs:agentloop:*:*:agentspace/*"
    },
    {
      "Effect": "Allow",
      "Action": ["cms:GetServiceObservability", "cms:CreateServiceObservability"],
      "Resource": "acs:cms:*:*:workspace/*/service-observability/apm"
    },
    {
      "Effect": "Allow",
      "Action": ["log:GetApiKey", "log:CreateApiKey"],
      "Resource": "acs:log:*:*:project/*/apikey/loongsuite-pilot-log"
    },
    {
      "Effect": "Allow",
      "Action": ["log:GetLogStoreLogs", "log:GetIndex"],
      "Resource": "acs:log:*:*:project/*/logstore/*"
    }
  ]
}

各条权限的用途:

  • agentloop:DescribeRegions / ListAgentSpaces / GetAgentSpace:跨地域列出 AgentSpace,读取其绑定的 SLS Project 与云监控 2.0 工作空间。
  • cms:GetServiceObservability / CreateServiceObservability:读取 Trace 接入点与 LicenseKey,未开通时自动开通。
  • log:GetApiKey / CreateApiKey:读取或创建名为 loongsuite-pilot-log 的 SLS API Key,用于日志写入。
  • log:GetLogStoreLogs / GetIndex:查询 AgentSpace 下的使用事件、意图、风险等数据,并核对索引。部门名单等外表放在其他 Project 时,同样需要授予读取权限。

需要把报表发布为仪表盘的管理员,再单独授予仪表盘的读写权限;只做查询的身份不需要:

{
  "Effect": "Allow",
  "Action": ["log:GetDashboard", "log:UpdateDashboard"],
  "Resource": "acs:log:*:*:project/*/dashboard/*"
},
{
  "Effect": "Allow",
  "Action": "log:CreateDashboard",
  "Resource": "*"
}

如果使用主账号或已有较大权限的 RAM 用户登录,这一步可以跳过。

▍步骤三:在 Qoder 中安装 AgentLoop 插件

  1. 打开 Qoder 桌面版,单击左下角「扩展」,进入插件市场。
  2. 在搜索框中输入 AgentLoop,找到由 @Alibaba Cloud 提供的 AgentLoop 插件。

图片

  1. 单击右上角「安装」。

图片

安装完成后单击「试用」,Qoder 会新建一个带 @AgentLoop 的对话,回车发送即可看到插件提供的能力:

图片

每项能力都可以在对话框中直接用自然语言描述触发,也可以输入 / 从快捷命令中选择:

  • 安装采集器(/agentloop-collector-setup): 按选定的 AgentSpace 生成 loongsuite-pilot 企业安装包。可以说“安装采集器”或“安装 loongsuite-pilot”。
  • 查询审计数据(/agentloop-audit-query): 查询使用、Token、风险、意图等数据。可以说“统计各 Agent 耗费的 Token”或“近 7 天有哪些风险”。
  • 生成报表(/agentloop-audit-dashboard): 把查询做成带筛选和下钻的报表,本地预览后发布。可以说“把这些生成一份报表”。

登录和切换环境也直接说出来即可,例如“登录 AgentLoop”“切换账户”“切换查询目标”。

▍步骤四:在对话中生成企业安装包

在 Qoder 桌面版中输入:

[@agentloop-collector-setup](skill://agentloop:agentloop-collector-setup)安装采集器

接下来插件会引导完成三次确认,全程在对话中点选即可。

① 选择用户标识

插件先询问用什么作为审计数据中的用户标识(user.id),后续“按人统计”“按部门统计”都依赖这个字段。可选 Qoder 邮箱、Qoder 用户名、主机名,或不设置(使用 Qoder 用户 ID),根据团队希望如何区分成员来选择即可。如果之后要关联企业的组织名单,选择能与名单中员工标识对应的一项。

图片

选择 Qoder 用户名或邮箱时,如果某次会话暂时取不到账号信息,会回退为主机名,安装照常完成。

② 完成阿里云授权(仅首次)

本机还没有可用的 loongsuite-pilot Profile 时,插件会自动拉起浏览器。使用步骤二中分配过的 RAM 用户登录阿里云,在授权页单击确认即可。默认使用中国站,国际站账号可直接在对话中说明“使用国际站”。

图片

如果授权没有完成,插件会撤销这次未完成的 Profile,重新说一次“安装采集器”即可。授权成功后,后续的安装、查询和报表都会复用这个 Profile,不再弹出浏览器。

需要改用 AccessKey 时,在对话中说“用 AccessKey 登录”。插件会给出一条 aliyun configure --mode AK ... 命令,请在本机终端执行并按提示填写,不要把 AccessKey 发到对话里。

③ 选择 AgentSpace

插件会跨地域列出当前账号下的 AgentSpace,以“空间名 + 地域”的形式供点选;上一次用过的空间会被标为推荐项。列表末尾保留一项“自行填写”,空间不在列表中时(例如某个地域暂时查询失败),可以直接输入空间名和 regionId。

图片

④ 拿到安装包

选定后,插件依次完成:读取空间信息 → 获取(或开通)Trace 接入点 → 获取(或创建)SLS API Key → 下载最新的 loongsuite-pilot-installer 并写入参数 → 打包。完成后对话中会返回 zip 的文件链接、大小和生成时间,点击即可在访达或资源管理器中定位文件。

图片

安装包默认保存在:

~/.loongsuite-pilot/audit/loongsuite-pilot-installer.zip

包内就是会话启动时自动安装采集器的 loongsuite-pilot-installer 插件,上报参数已经填好:

loongsuite-pilot-installer.zip
├── .qoder-plugin/plugin.json      # 插件元信息
├── hooks/hooks.json               # SessionStart 时触发安装检测
├── scripts/ensure-pilot.sh        # macOS / Linux 安装脚本
├── scripts/ensure-pilot.ps1       # Windows 安装脚本
├── config/install-params.conf     # 插件写入的上报参数
└── README.md

▍步骤五:上传到企业专属市场并下发

步骤四拿到的 zip 是一个标准的 Qoder 插件包,接下来交给 Qoder 企业版的「扩展与市场」推送给成员。这项能力仅适用于 Qoder Enterprise,需要由组织管理员操作。

先了解几个概念:

  • 专属市场(Private Marketplace): 组织成员发现和安装企业认可能力的入口。
  • 集合: 专属市场中的管理单元。一个集合只管理一种内容类型(插件或技能),并指定适用于 Qoder、QoderWork 或两者。
  • 下发: 管理员把集合中的单个插件推送给成员,范围和策略按插件逐个配置。

图片

1. 打开扩展与市场

以组织管理员身份登录 Qoder 企业版控制台 [ 10] ,进入「组织 → 扩展与市场 → 企业专属市场」。

图片

2. 新建集合(已有可复用则跳过)

建议为 Agent 审计这类组织级基础设施单独建一个集合,便于和其他业务插件分开管理。新建时,产品勾选 Qoder(团队同时使用 QoderWork 时可一并勾选),内容类型选择插件;集合名称和描述按团队习惯填写,例如“组织基础设施”“全员默认启用的基础能力,包括 Agent 审计采集”。市场可见范围只影响成员能否在 QoderWork 客户端市场中发现该集合,仅使用 Qoder 时按需设置即可。

3. 上传安装包

选中集合后,单击右上角「+ 添加内容」,把步骤四生成的 loongsuite-pilot-installer.zip 拖进上传区,确认解析结果后单击「导入」。插件类型的 zip 要求根目录包含 .qoder-plugin/ 目录,AgentLoop 插件生成的安装包已满足这一要求,无需解压或二次打包。

图片

导入后,loongsuite-pilot-installer 会出现在集合的内容表格中。此时它处于「未下发」状态,不会推送给任何人。

4. 配置下发

在内容表格中单击「操作 → 配置」,打开「配置下发策略」,分别选择下发范围和下发策略。保存后,被覆盖到的成员会收到插件,下一次 Qoder 会话启动时即在后台完成 LoongSuite Pilot 的安装。

图片

  • 下发范围决定推给谁:未下发时不主动推送(集合对成员可见时,成员仍可自助安装);分组下发推给指定的成员分组;全员下发推给组织内所有成员。
  • 下发策略决定成员能否关闭:客户端可配置时成员可查看并自行决定是否启用;强制开启在客户端中展示且保持启用,成员不可关闭;静默启用在客户端中不展示,由后台启用。

图片

5. 按节奏放量

下发范围与策略可以随时调整。建议从管理员自己开始,逐步放量:

图片

6. 更新与回退

需要更换 AgentSpace 或用户标识时,回到 Qoder 对话重新生成 zip,在同一集合中上传新版本即可。成员下一次 Qoder 会话启动时,安装插件会检测到参数变化并在后台覆盖安装。内容操作中保留「版本历史」,出现问题时可以切回旧版本。

▍步骤六:验证上报,在对话中查询与分析

成员侧:无需任何操作。 收到下发后,下一次 Qoder 会话启动时即自动安装,不影响正常使用。需要确认时,可以在终端执行 loongsuite-pilot status,状态为 running 即成功。

管理员侧:直接调用插件。 数据上报后,回到 Qoder 对话即可,查询目标默认沿用步骤四选定的 AgentSpace。先问一句“查一下最近 1 小时有哪些用户和 Agent 上报了数据”,能看到成员和 Agent 出现在结果中,采集就完成了。之后的查询和报表都在对话中进行。

1. 查询使用与消耗

例如:

查询近 7 天各 Agent 的使用情况和 Token 消耗

插件会先确认时间范围,再选择数据源和统计口径,例如自动合并 agent-event 与 agent-event-webtracking 两份使用事件,避免漏算网页端和办公类 Agent。新写的查询先在较窄的时间窗内验证,确认无误后再查询完整范围,结果在对话中整理返回:

图片

结果可以继续追问,例如“看其中 qoder-cli 的会话”。需要 SQL 时说“给我可以贴到 SLS 查询框的 SQL”即可;换一个 AgentSpace 时说“切换查询目标”。

2. 生成报表

需要反复看的指标,可以让插件做成报表:使用 /agentloop-audit-dashboard,或在查询之后直接说“把这些生成一份报表”。

图片

以一份部门使用报表为例。提供组织名单(工号、姓名、部门)后,告诉插件要看什么:

生成近 7 天的部门使用概览。
展示使用人数、总 Token、已开通账号使用覆盖和至少 3 天有记录的人数,保留前七日对比。
每日 Token 与使用人数按前七日对应日叠加比较;部门总 Token 与使用者人均 Token 并排展示。
部门、Agent、用途和模型支持筛选,先给本地预览。

插件整理报表需求和统计口径,生成仪表盘配置和本地预览;确认后说“这版可以发布”,即发布为 SLS 仪表盘。下面是用演示数据生成的部门概览:

图片

概览发现部门差异后,继续让插件补上下钻:

保留概览,补上部门下钻。上表按用户看使用天数、会话数、Token 和正常收尾率,
下表保留用途、Agent、模型、结果与产物;点击用户筛选他的会话,再点击会话进入会话回看。

点击某个部门进入人员明细,再点击用户缩小到他的会话,最后打开一次具体的会话核查工具调用和产物:

图片

发布前的步骤都只在本机进行,不改动线上内容。

▍步骤七:开启审计检测,在对话中查风险与意图

用量之外,组织还需要知道 Agent 做了哪些有风险的操作、主要用在什么工作上。这部分来自 AgentLoop 对已采集数据的检测,按照之前步骤一开启后同样可在对话中查询,列如:

近 7 天出现了哪些风险,按风险类型和严重程度汇总,并列出涉及的用户

插件统计各类风险的数量、涉及人数和严重程度,并附上对应的会话;敏感内容只展示脱敏摘要。

图片

还可以问“这些 Agent 大部分时间在做什么工作”,插件则按意图类别统计会话数和 Token。

和步骤六一样,风险也可以做成报表。例如结合组织名单做一份部门风险调查清单:

把部门风险记录和暴露构成放在一起比较,保留模型输入、模型输出和外发意图的区别。
能按部门、人员、风险子类和文件筛选;排除已确认误报,点击用户进入会话查看动作结果。

下面是用演示数据生成的结果。上方按部门比较风险记录数和构成,排出调查顺序;下方清单列出每条记录涉及的文件,以及外发进展到了哪一步:仅识别到外发意图、工具报告已发送,还是已被拦截。点击用户即可回到会话核查:

图片

总结

AgentLoop 插件与 Qoder 企业专属市场组合起来,把 Agent 审计的采集、分析和审计都放进了 Qoder:

  • 对组织成员: 企业专属市场按范围推送,会话启动时静默安装,全程零操作。
  • 对管理员: 不必进控制台逐项配置,也不必先学数据表和 SQL。在 Qoder 里说一句话,就能拿到企业安装包、查询结果和可以下钻的报表。
  • 对安全团队: 风险事件和用户意图可以直接在对话中查询和追问。凭证留在本机,AccessKey 不进对话;OAuth 权限等于登录身份的 RAM 权限,可以用一份最小权限策略收敛。

从创建 AgentSpace 到全员上报,管理员需要动手的只有三处:控制台新建空间、对话中点选两次、企业专属市场上传并下发。之后的分析和审计,在对话里提问就可以完成。

相关链接:

[1] AgentLoop 插件

qoder.com/zh/marketpl…

[2] LoongSuite Pilot

github.com/alibaba/loo…

[3] Qoder 企业专属市场

qoder.com/account/ent…

[4] AgentLoop / [6] AgentLoop 控制台

agentloop.console.aliyun.com/agentloop/h…

[5] 日志服务控制台

sls.console.aliyun.com/

[7] 创建智能体空间

help.aliyun.com/zh/agentloo…

[8] 审计管理

help.aliyun.com/zh/agentloo…

[9] RAM 控制台

ram.console.aliyun.com/

[10] Qoder 企业版控制台

qoder.com/account/ent…