把 Spring Boot 的 AI 流式接口接入 JSP 老项目,我发现真正的坑不在接口调用

0 阅读8分钟

最近在做一个 AI 智能体接入项目。

新系统使用 Spring Boot,提供 AI 流式对话接口;老系统则是一个运行多年的 JSP 项目。

需求听起来很简单:

用户在老系统页面输入问题,JSP 后端调用 Spring Boot 的 AI 接口,再把模型生成的内容实时返回给浏览器。

如果按照普通 HTTP 接口的思路,这件事可能只需要一个 HTTP 请求。

但真正开始做之后,我发现事情没有想象中简单。

普通接口只需要等待响应,然后返回 JSON。

流式接口不一样。

用户希望模型生成一个字,页面就能显示一个字,而不是等模型全部回答完毕再一次性返回。

这意味着整个调用链路都必须支持流式传输。

而 JSP、Spring Boot、Nginx,任何一层处理不当,都可能让流式响应失去意义。

这篇文章就从一个实际的系统集成场景出发,聊聊如何把 Spring Boot 的 SSE 接口转发给传统 JSP 项目。


一、先搞清楚:什么是 SSE?

先看一下普通接口和流式接口的区别。

普通 HTTP 请求:

浏览器
  |
  | POST /chat
  |
JSP
  |
  | 请求 Spring Boot
  |
Spring Boot
  |
  | 等待模型生成完成
  |
返回完整 JSON

整个请求结束后,浏览器才能拿到完整结果。

而 SSE 的处理方式不同:

浏览器
  |
  | POST /chat
  |
JSP
  |
  | 请求 Spring Boot
  |
Spring Boot
  |
  | data: 你好
  | data: 世界
  | data: !
  |
JSP
  |
  | 实时转发数据
  |
浏览器

模型生成一部分,服务端就可以向客户端发送一部分。

这里需要注意:SSE 全称是 Server-Sent Events,本质上是一种基于 HTTP 的服务器向客户端推送数据的机制。

它通常使用:

Content-Type: text/event-stream

数据格式类似:

data: 你好

data: 世界

data: !

每条事件通常以空行结束。

这里还有一个容易混淆的地方:SSE 是数据传输协议,不是某个大模型专属的功能。

只要服务端按照 SSE 格式发送数据,客户端就可以按照 SSE 的规则接收。


二、最重要的问题:JSP 能不能转发 SSE?

答案是:可以。

JSP 本质上运行在 Servlet 容器中,最终也是通过 HttpServletResponse 向客户端写入数据。

所以我们完全可以让 JSP 扮演一个代理的角色。

整体架构:

用户浏览器
    |
    | HTTP POST
    v
JSP 老系统
    |
    | HTTP POST + JSON
    | 携带鉴权信息
    v
Spring Boot AI 服务
    |
    | 调用大模型
    |
    | SSE 流式响应
    v
JSP 老系统
    |
    | 按数据块转发
    v
用户浏览器

JSP 不需要理解模型生成了什么内容。它只需要完成三件事情:接收浏览器请求、调用 Spring Boot 流式接口、将上游返回的数据持续转发给浏览器。

这其实就是一个简单的反向代理。


三、JSP 如何实现流式转发?

先看一个简化的 Java 实现。这里使用 HttpURLConnection,方便理解整个转发过程。

URL url = new URL("https://example.com/chat/stream");

HttpURLConnection connection =
        (HttpURLConnection) url.openConnection();

connection.setRequestMethod("POST");
connection.setDoOutput(true);

connection.setConnectTimeout(10000);
connection.setReadTimeout(0);

connection.setRequestProperty(
        "Content-Type", "application/json;charset=UTF-8"
);

connection.setRequestProperty(
        "Accept", "text/event-stream"
);

// 写入请求参数
try (OutputStream requestOut = connection.getOutputStream()) {
    requestOut.write(requestBody.getBytes("UTF-8"));
    requestOut.flush();
}

// 设置浏览器响应头
response.setContentType("text/event-stream;charset=UTF-8");
response.setHeader("Cache-Control", "no-cache");
response.setHeader("X-Accel-Buffering", "no");

response.setCharacterEncoding("UTF-8");

// 读取上游流式数据
try (
    InputStream input = connection.getInputStream();
    ServletOutputStream output = response.getOutputStream()
) {
    byte[] buffer = new byte[8192];
    int len;

    while ((len = input.read(buffer)) != -1) {
        output.write(buffer, 0, len);
        output.flush();
    }
} finally {
    connection.disconnect();
}

代码并不复杂。真正重要的是理解下面几个地方。

1. 为什么 readTimeout 设置为 0?

因为 AI 生成内容可能需要一定时间。如果读取超时时间设置得太短,模型还没有生成完毕,请求就可能被提前终止。

这里的 0 表示不设置读取超时。但这不意味着线上就应该无限等待,生产环境仍然需要在网关、业务层设计合理的最大执行时间。

2. 为什么每次写入都需要 flush?

因为我们需要尽可能及时地将数据发送给浏览器。如果只 write,不及时 flush,数据可能留在输出缓冲区中。

用户看到的效果就可能变成:模型已经生成了很多内容,页面却一直没有变化。

3. 为什么使用字节数组转发?

因为这里的 JSP 主要承担数据转发职责。直接按字节转发可以避免不必要的字符串解码和重新编码,也能减少对 SSE 原始数据格式的干扰。

当然,生产环境还需要完善异常处理、连接释放和客户端断开处理。


四、代码没有问题,为什么浏览器还是不能实时显示?

这是我认为最容易被忽略的一个问题。

假设整个调用链路是:

浏览器 -> Nginx -> JSP -> Nginx -> Spring Boot

即使 JSP 已经实现了实时转发,也不代表浏览器一定能实时收到数据。

因为 Nginx 可能会对响应进行缓冲。

例如:JSP 每隔一段时间向浏览器写入数据,但是 Nginx 并不立即转发,而是先把数据放在自己的缓冲区中,等到缓冲区满足一定条件,再统一发送。

最终用户看到的效果就是:

明明使用了 SSE,页面却像普通 HTTP 接口一样,等很久才一次性显示结果。

这时候就需要检查 Nginx 配置。例如:

location /chat/stream {
    proxy_pass http://127.0.0.1:8080;

    proxy_http_version 1.1;

    proxy_buffering off;
    proxy_cache off;

    proxy_read_timeout 3600s;
    proxy_send_timeout 3600s;
}

几个关键配置:

配置作用
proxy_buffering off关闭响应缓冲
proxy_cache off关闭代理缓存
proxy_read_timeout调整上游读取超时时间
proxy_http_version 1.1使用 HTTP/1.1 代理协议

另外,后端还可以通过 X-Accel-Buffering: no 告诉 Nginx 不要缓冲响应。

注意,这些配置需要根据实际 Nginx 部署层级进行调整。如果请求经过多层代理,每一层都需要检查。


五、还有一个容易被忽略的问题:接口鉴权

AI 接口往往不希望直接暴露给浏览器。

例如 Spring Boot 的接口需要携带:

ownerid: 123456
uid: xxxxxxxxx

如果直接在浏览器调用,那么接口地址和请求参数都可以被用户看到。如果还涉及固定密钥,更不能将密钥放在前端代码中。

所以更合理的方式是:

浏览器
   |
   | 请求 JSP
   v
JSP 服务端
   |
   | 服务端鉴权
   | HMAC-SHA256 签名
   | 时间戳
   | Nonce
   v
Spring Boot

这里需要区分几个概念:

  • HMAC-SHA256:用于验证请求完整性和身份认证
  • AES-256-GCM:用于数据加密,同时提供完整性保护
  • 时间戳:限制请求的有效时间窗口
  • Nonce:用于防止同一请求被重复使用

需要注意,时间戳本身不能彻底防止重放攻击。如果要求真正阻止重复请求,服务端还需要记录已使用的 Nonce,并通过原子操作完成检查和登记。

对于单机服务,可以使用内存中的并发集合配合过期清理,但服务重启后记录会丢失,而且需要考虑并发和内存限制。因此,安全方案也要根据部署规模和威胁模型选择。


六、生产环境还需要考虑什么?

前面的代码只是让整个链路跑起来。如果准备真正上线,还有几个问题必须考虑。

1. 客户端断开连接

用户关闭浏览器,JSP 就没有必要继续接收上游数据。应该及时结束上游连接,避免模型还在生成,服务器却一直占用资源。

2. 上游异常

Spring Boot 返回 500、401 或者其他错误时,不能简单地继续读取正常响应流。应该区分正常响应和错误响应,并在响应提交之前做好异常处理。

3. 中文乱码

统一 UTF-8 编码,检查请求体、响应体以及各层的字符集配置。

4. 并发连接

SSE 是长连接。如果同时存在大量用户,每个请求都可能占用服务端连接、线程或相关资源。需要结合 Servlet 容器的线程模型、连接池和服务容量进行评估。

5. 超时管理

不能只关注 Nginx。JSP、Servlet 容器、上游 HTTP 客户端、网关和 Spring Boot 都可能存在超时限制。需要保证整条链路的超时策略相互协调。


七、最后总结

这次改造让我对 AI 系统集成有了一个更直观的认识。

接入一个大模型接口并不困难。真正困难的是如何让它进入一个已经存在多年的业务系统,并且稳定运行。

尤其是传统项目:前端可能还是 JSP,后端可能是传统 Servlet,代理层可能有多层 Nginx,鉴权方式可能已经沿用了很多年,服务器资源和架构也不一定适合大量长连接。

这些问题不会因为你接入了一个 AI 接口就自动消失。反而需要开发人员重新梳理整个调用链路。

我现在越来越觉得:AI 应用开发并不是传统软件工程的替代品,而是在传统软件工程之上增加了一层不确定性。

模型负责生成内容。后端负责鉴权、数据处理、异常控制和业务约束。中间件负责稳定传输。前端负责展示和交互。

只有这些环节配合起来,AI 才真正能够进入业务系统。

最后留一个问题:如果现在让你给一个运行了十年的 JSP 老系统接入 AI,你会选择直接在 JSP 中调用大模型,还是单独搭建一个 Spring Boot AI 中间层?欢迎交流。