最近在做一个 AI 智能体接入项目。
新系统使用 Spring Boot,提供 AI 流式对话接口;老系统则是一个运行多年的 JSP 项目。
需求听起来很简单:
用户在老系统页面输入问题,JSP 后端调用 Spring Boot 的 AI 接口,再把模型生成的内容实时返回给浏览器。
如果按照普通 HTTP 接口的思路,这件事可能只需要一个 HTTP 请求。
但真正开始做之后,我发现事情没有想象中简单。
普通接口只需要等待响应,然后返回 JSON。
流式接口不一样。
用户希望模型生成一个字,页面就能显示一个字,而不是等模型全部回答完毕再一次性返回。
这意味着整个调用链路都必须支持流式传输。
而 JSP、Spring Boot、Nginx,任何一层处理不当,都可能让流式响应失去意义。
这篇文章就从一个实际的系统集成场景出发,聊聊如何把 Spring Boot 的 SSE 接口转发给传统 JSP 项目。
一、先搞清楚:什么是 SSE?
先看一下普通接口和流式接口的区别。
普通 HTTP 请求:
浏览器
|
| POST /chat
|
JSP
|
| 请求 Spring Boot
|
Spring Boot
|
| 等待模型生成完成
|
返回完整 JSON
整个请求结束后,浏览器才能拿到完整结果。
而 SSE 的处理方式不同:
浏览器
|
| POST /chat
|
JSP
|
| 请求 Spring Boot
|
Spring Boot
|
| data: 你好
| data: 世界
| data: !
|
JSP
|
| 实时转发数据
|
浏览器
模型生成一部分,服务端就可以向客户端发送一部分。
这里需要注意:SSE 全称是 Server-Sent Events,本质上是一种基于 HTTP 的服务器向客户端推送数据的机制。
它通常使用:
Content-Type: text/event-stream
数据格式类似:
data: 你好
data: 世界
data: !
每条事件通常以空行结束。
这里还有一个容易混淆的地方:SSE 是数据传输协议,不是某个大模型专属的功能。
只要服务端按照 SSE 格式发送数据,客户端就可以按照 SSE 的规则接收。
二、最重要的问题:JSP 能不能转发 SSE?
答案是:可以。
JSP 本质上运行在 Servlet 容器中,最终也是通过 HttpServletResponse 向客户端写入数据。
所以我们完全可以让 JSP 扮演一个代理的角色。
整体架构:
用户浏览器
|
| HTTP POST
v
JSP 老系统
|
| HTTP POST + JSON
| 携带鉴权信息
v
Spring Boot AI 服务
|
| 调用大模型
|
| SSE 流式响应
v
JSP 老系统
|
| 按数据块转发
v
用户浏览器
JSP 不需要理解模型生成了什么内容。它只需要完成三件事情:接收浏览器请求、调用 Spring Boot 流式接口、将上游返回的数据持续转发给浏览器。
这其实就是一个简单的反向代理。
三、JSP 如何实现流式转发?
先看一个简化的 Java 实现。这里使用 HttpURLConnection,方便理解整个转发过程。
URL url = new URL("https://example.com/chat/stream");
HttpURLConnection connection =
(HttpURLConnection) url.openConnection();
connection.setRequestMethod("POST");
connection.setDoOutput(true);
connection.setConnectTimeout(10000);
connection.setReadTimeout(0);
connection.setRequestProperty(
"Content-Type", "application/json;charset=UTF-8"
);
connection.setRequestProperty(
"Accept", "text/event-stream"
);
// 写入请求参数
try (OutputStream requestOut = connection.getOutputStream()) {
requestOut.write(requestBody.getBytes("UTF-8"));
requestOut.flush();
}
// 设置浏览器响应头
response.setContentType("text/event-stream;charset=UTF-8");
response.setHeader("Cache-Control", "no-cache");
response.setHeader("X-Accel-Buffering", "no");
response.setCharacterEncoding("UTF-8");
// 读取上游流式数据
try (
InputStream input = connection.getInputStream();
ServletOutputStream output = response.getOutputStream()
) {
byte[] buffer = new byte[8192];
int len;
while ((len = input.read(buffer)) != -1) {
output.write(buffer, 0, len);
output.flush();
}
} finally {
connection.disconnect();
}
代码并不复杂。真正重要的是理解下面几个地方。
1. 为什么 readTimeout 设置为 0?
因为 AI 生成内容可能需要一定时间。如果读取超时时间设置得太短,模型还没有生成完毕,请求就可能被提前终止。
这里的 0 表示不设置读取超时。但这不意味着线上就应该无限等待,生产环境仍然需要在网关、业务层设计合理的最大执行时间。
2. 为什么每次写入都需要 flush?
因为我们需要尽可能及时地将数据发送给浏览器。如果只 write,不及时 flush,数据可能留在输出缓冲区中。
用户看到的效果就可能变成:模型已经生成了很多内容,页面却一直没有变化。
3. 为什么使用字节数组转发?
因为这里的 JSP 主要承担数据转发职责。直接按字节转发可以避免不必要的字符串解码和重新编码,也能减少对 SSE 原始数据格式的干扰。
当然,生产环境还需要完善异常处理、连接释放和客户端断开处理。
四、代码没有问题,为什么浏览器还是不能实时显示?
这是我认为最容易被忽略的一个问题。
假设整个调用链路是:
浏览器 -> Nginx -> JSP -> Nginx -> Spring Boot
即使 JSP 已经实现了实时转发,也不代表浏览器一定能实时收到数据。
因为 Nginx 可能会对响应进行缓冲。
例如:JSP 每隔一段时间向浏览器写入数据,但是 Nginx 并不立即转发,而是先把数据放在自己的缓冲区中,等到缓冲区满足一定条件,再统一发送。
最终用户看到的效果就是:
明明使用了 SSE,页面却像普通 HTTP 接口一样,等很久才一次性显示结果。
这时候就需要检查 Nginx 配置。例如:
location /chat/stream {
proxy_pass http://127.0.0.1:8080;
proxy_http_version 1.1;
proxy_buffering off;
proxy_cache off;
proxy_read_timeout 3600s;
proxy_send_timeout 3600s;
}
几个关键配置:
| 配置 | 作用 |
|---|---|
| proxy_buffering off | 关闭响应缓冲 |
| proxy_cache off | 关闭代理缓存 |
| proxy_read_timeout | 调整上游读取超时时间 |
| proxy_http_version 1.1 | 使用 HTTP/1.1 代理协议 |
另外,后端还可以通过 X-Accel-Buffering: no 告诉 Nginx 不要缓冲响应。
注意,这些配置需要根据实际 Nginx 部署层级进行调整。如果请求经过多层代理,每一层都需要检查。
五、还有一个容易被忽略的问题:接口鉴权
AI 接口往往不希望直接暴露给浏览器。
例如 Spring Boot 的接口需要携带:
ownerid: 123456
uid: xxxxxxxxx
如果直接在浏览器调用,那么接口地址和请求参数都可以被用户看到。如果还涉及固定密钥,更不能将密钥放在前端代码中。
所以更合理的方式是:
浏览器
|
| 请求 JSP
v
JSP 服务端
|
| 服务端鉴权
| HMAC-SHA256 签名
| 时间戳
| Nonce
v
Spring Boot
这里需要区分几个概念:
- HMAC-SHA256:用于验证请求完整性和身份认证
- AES-256-GCM:用于数据加密,同时提供完整性保护
- 时间戳:限制请求的有效时间窗口
- Nonce:用于防止同一请求被重复使用
需要注意,时间戳本身不能彻底防止重放攻击。如果要求真正阻止重复请求,服务端还需要记录已使用的 Nonce,并通过原子操作完成检查和登记。
对于单机服务,可以使用内存中的并发集合配合过期清理,但服务重启后记录会丢失,而且需要考虑并发和内存限制。因此,安全方案也要根据部署规模和威胁模型选择。
六、生产环境还需要考虑什么?
前面的代码只是让整个链路跑起来。如果准备真正上线,还有几个问题必须考虑。
1. 客户端断开连接
用户关闭浏览器,JSP 就没有必要继续接收上游数据。应该及时结束上游连接,避免模型还在生成,服务器却一直占用资源。
2. 上游异常
Spring Boot 返回 500、401 或者其他错误时,不能简单地继续读取正常响应流。应该区分正常响应和错误响应,并在响应提交之前做好异常处理。
3. 中文乱码
统一 UTF-8 编码,检查请求体、响应体以及各层的字符集配置。
4. 并发连接
SSE 是长连接。如果同时存在大量用户,每个请求都可能占用服务端连接、线程或相关资源。需要结合 Servlet 容器的线程模型、连接池和服务容量进行评估。
5. 超时管理
不能只关注 Nginx。JSP、Servlet 容器、上游 HTTP 客户端、网关和 Spring Boot 都可能存在超时限制。需要保证整条链路的超时策略相互协调。
七、最后总结
这次改造让我对 AI 系统集成有了一个更直观的认识。
接入一个大模型接口并不困难。真正困难的是如何让它进入一个已经存在多年的业务系统,并且稳定运行。
尤其是传统项目:前端可能还是 JSP,后端可能是传统 Servlet,代理层可能有多层 Nginx,鉴权方式可能已经沿用了很多年,服务器资源和架构也不一定适合大量长连接。
这些问题不会因为你接入了一个 AI 接口就自动消失。反而需要开发人员重新梳理整个调用链路。
我现在越来越觉得:AI 应用开发并不是传统软件工程的替代品,而是在传统软件工程之上增加了一层不确定性。
模型负责生成内容。后端负责鉴权、数据处理、异常控制和业务约束。中间件负责稳定传输。前端负责展示和交互。
只有这些环节配合起来,AI 才真正能够进入业务系统。
最后留一个问题:如果现在让你给一个运行了十年的 JSP 老系统接入 AI,你会选择直接在 JSP 中调用大模型,还是单独搭建一个 Spring Boot AI 中间层?欢迎交流。