这7道检查不过?你的Agent就敢上线吗?从0到生产:AgentScope的底层实现

0 阅读3分钟

在这里插入图片描述 从开启这个专栏以来,如果您每篇不落,现在的您已经不知不觉学会了这么多内容了———Agent搭建、工具调用、任务编排、权限管控、持久化记忆、分布式状态存储。这些功能确实学会了,也全做完了,但跟"敢上线"之间还隔着一条生命线——这也是我们本期专栏要讲的内容,在讲之前,说一说背景即为啥讲这块内容:

我见过大量Agent项目卡在发布前夜:缺少完整可观测能力,线上出了事故,根本定位不到是哪一步调用出错;没有优雅关停机制,版本发版时,正在执行的任务直接中断丢失;缺少灰度发布,一旦全量上线,问题瞬间扩散,直接引发线上雪崩。

本期内容,就是把前面所有专栏的技术能力,按照生产标准整合为一套开箱即用的上线模板,同时整理出七项上线自检清单,把发布风险提前堵死。

生产四件套组装:

HarnessAgent agent = HarnessAgent.builder()
        .name("prod-agent")
        .model("dashscope:qwen-plus")
        // ① 分布式状态(D6):多副本共享状态+文件系统
        .distributedStore(RedisDistributedStore.fromJedis(jedis))
        .filesystem(new RemoteFilesystemSpec()
                .isolationScope(IsolationScope.USER)
                .anonymousUserId("_default"))
        // ② 可观测:全链路 Trace(模型/工具/子Agent调用)
        .middlewares(new OtelTracingMiddleware("my-agent-service", "prod"))
        // ③ 记忆压缩+大结果卸载(D5)
        .compaction(CompactionConfig.builder()
                .triggerMessages(50).keepMessages(20).build())
        .toolResultEviction(ToolResultEvictionConfig.defaults())
        // ③ 权限 DEFAULT:危险操作必须人审(D4)
        .permissionContext(PermissionContextState.builder()
                .mode(PermissionMode.DEFAULT).build())
        // ④ 平滑关停:停机先把进行中任务收尾,不丢状态
        .build();
GracefulShutdownManager shutdownManager = GracefulShutdownManager.builder()
        .timeoutSeconds(30).build();
shutdownManager.register(agent);

上线前七道检查——请逐条打勾:

  1. RuntimeContext 必带 userId+sessionId(防串话,缺一个就废);
  2. 状态已外部化:Redis/MySQL 分布式存储,不是本地文件(多副本下本地文件必炸);
  3. IsolationScope 选对:生产用 USER 或 SESSION;记住改了不迁移旧数据,上线前定死;
  4. 权限 DEFAULT + 人审:删除/退款/发消息类危险操作必须人审或 DENY;
  5. 远程文件系统禁 java.nio.Files:必须走 agent.getWorkspaceManager();
  6. tools.json 白名单:未列出的内置工具不暴露给模型(很多人漏掉这条,等于把后门开着);
  7. 灰度上线:先小流量,Otel 盯 P50/P99,异常即回滚。

自定义中间件是生产里绕不开的能力——比如记录每次 Agent 调用耗时(接 Prometheus):

static class TimingMiddleware extends MiddlewareBase {
    @Override
    public Mono<MiddlewareResult> onAgent(MiddlewareContext context) {
        long start = System.currentTimeMillis();
        return context.getNext().apply(context)
                .doOnNext(r -> System.out.println(
                        "[Timing] " + (System.currentTimeMillis() - start) + "ms"));
    }
}

我的观点:Agent 项目和传统后端最大的区别是不确定性——模型输出不可穷举,所以"能不能上线"的标准不是"功能做完",而是"出事了能不能发现、能不能止损"。可观测、人审、白名单、灰度,全是围绕这个核心。把七道检查背下来,你就是团队里那个"敢对上线负责"的人。

面试话术模板:"我基于 AgentScope 完成 Agent 生产落地:RedisDistributedStore + RemoteFilesystemSpec 实现多副本共享状态与用户级文件隔离;OtelTracingMiddleware 接入全链路可观测;PermissionMode.DEFAULT 强制危险操作人审;GracefulShutdownManager 保障停机不丢任务;沉淀上线前七道检查清单(串话/状态/隔离/权限/文件系统/工具白名单/灰度)。"

📦 落地资源推荐 跑AgentScope的多Agent应用,更吃服务器资源,建议使用云服务器,能大大减少我们做其他事的精力,提高学习代码的专注力和学习AI的效率,免除后顾之忧,新用户首年特惠+专属渠道,www.aliyun.com/daily-act/e…

💡领取完整工程

找到图片上的水印即Java-AI工程师,然后在follow,在练练打字,打出【AgentScope】即可

在这里插入图片描述

下期预告

当然不只有这一个中间件——OtelTracingMiddleware它不过是冰山一角,所以下期我们讲给Agent加限流、降级、动态提示词:中间件体系 + 模型降级,后端看了都说对