从开启这个专栏以来,如果您每篇不落,现在的您已经不知不觉学会了这么多内容了———Agent搭建、工具调用、任务编排、权限管控、持久化记忆、分布式状态存储。这些功能确实学会了,也全做完了,但跟"敢上线"之间还隔着一条生命线——这也是我们本期专栏要讲的内容,在讲之前,说一说背景即为啥讲这块内容:
我见过大量Agent项目卡在发布前夜:缺少完整可观测能力,线上出了事故,根本定位不到是哪一步调用出错;没有优雅关停机制,版本发版时,正在执行的任务直接中断丢失;缺少灰度发布,一旦全量上线,问题瞬间扩散,直接引发线上雪崩。
本期内容,就是把前面所有专栏的技术能力,按照生产标准整合为一套开箱即用的上线模板,同时整理出七项上线自检清单,把发布风险提前堵死。
生产四件套组装:
HarnessAgent agent = HarnessAgent.builder()
.name("prod-agent")
.model("dashscope:qwen-plus")
// ① 分布式状态(D6):多副本共享状态+文件系统
.distributedStore(RedisDistributedStore.fromJedis(jedis))
.filesystem(new RemoteFilesystemSpec()
.isolationScope(IsolationScope.USER)
.anonymousUserId("_default"))
// ② 可观测:全链路 Trace(模型/工具/子Agent调用)
.middlewares(new OtelTracingMiddleware("my-agent-service", "prod"))
// ③ 记忆压缩+大结果卸载(D5)
.compaction(CompactionConfig.builder()
.triggerMessages(50).keepMessages(20).build())
.toolResultEviction(ToolResultEvictionConfig.defaults())
// ③ 权限 DEFAULT:危险操作必须人审(D4)
.permissionContext(PermissionContextState.builder()
.mode(PermissionMode.DEFAULT).build())
// ④ 平滑关停:停机先把进行中任务收尾,不丢状态
.build();
GracefulShutdownManager shutdownManager = GracefulShutdownManager.builder()
.timeoutSeconds(30).build();
shutdownManager.register(agent);
上线前七道检查——请逐条打勾:
- RuntimeContext 必带 userId+sessionId(防串话,缺一个就废);
- 状态已外部化:Redis/MySQL 分布式存储,不是本地文件(多副本下本地文件必炸);
- IsolationScope 选对:生产用 USER 或 SESSION;记住改了不迁移旧数据,上线前定死;
- 权限 DEFAULT + 人审:删除/退款/发消息类危险操作必须人审或 DENY;
- 远程文件系统禁 java.nio.Files:必须走
agent.getWorkspaceManager(); - tools.json 白名单:未列出的内置工具不暴露给模型(很多人漏掉这条,等于把后门开着);
- 灰度上线:先小流量,Otel 盯 P50/P99,异常即回滚。
自定义中间件是生产里绕不开的能力——比如记录每次 Agent 调用耗时(接 Prometheus):
static class TimingMiddleware extends MiddlewareBase {
@Override
public Mono<MiddlewareResult> onAgent(MiddlewareContext context) {
long start = System.currentTimeMillis();
return context.getNext().apply(context)
.doOnNext(r -> System.out.println(
"[Timing] " + (System.currentTimeMillis() - start) + "ms"));
}
}
我的观点:Agent 项目和传统后端最大的区别是不确定性——模型输出不可穷举,所以"能不能上线"的标准不是"功能做完",而是"出事了能不能发现、能不能止损"。可观测、人审、白名单、灰度,全是围绕这个核心。把七道检查背下来,你就是团队里那个"敢对上线负责"的人。
面试话术模板:"我基于 AgentScope 完成 Agent 生产落地:RedisDistributedStore + RemoteFilesystemSpec 实现多副本共享状态与用户级文件隔离;OtelTracingMiddleware 接入全链路可观测;PermissionMode.DEFAULT 强制危险操作人审;GracefulShutdownManager 保障停机不丢任务;沉淀上线前七道检查清单(串话/状态/隔离/权限/文件系统/工具白名单/灰度)。"
📦 落地资源推荐 跑AgentScope的多Agent应用,更吃服务器资源,建议使用云服务器,能大大减少我们做其他事的精力,提高学习代码的专注力和学习AI的效率,免除后顾之忧,新用户首年特惠+专属渠道,www.aliyun.com/daily-act/e…
💡领取完整工程
找到图片上的水印即Java-AI工程师,然后在follow,在练练打字,打出【AgentScope】即可
下期预告
当然不只有这一个中间件——OtelTracingMiddleware它不过是冰山一角,所以下期我们讲给Agent加限流、降级、动态提示词:中间件体系 + 模型降级,后端看了都说对