AI 应用开发 Day 2:实现 ChatGPT 一样的流式输出(Streaming + SSE 实战)

46 阅读4分钟

AI 应用开发 Day 2:实现 ChatGPT 一样的流式输出(Streaming + SSE 实战)

Day 1 我完成了 Spring Boot 调用 DeepSeek API,并成功返回模型回答。

整个流程如下:

Postman
    ↓
Spring Boot
    ↓
DeepSeek API
    ↓
返回完整答案

虽然功能已经实现,但体验和 ChatGPT 还有一个非常大的差距:

必须等待模型全部生成完成
才能看到结果

而 ChatGPT 的体验是:

Redis...
Redis是一种...
Redis是一种基于内存...
Redis是一种基于内存的数据库...

内容会不断出现,仿佛 AI 正在实时思考。

因此 Day 2 的目标只有一个:

理解并实现 AI 流式输出(Streaming)。


今日目标

实现下面这条链路:

用户提问
    ↓
Spring Boot
    ↓
DeepSeek Streaming
    ↓
SSE
    ↓
React 实时显示

最终效果:

用户:
什么是Redis?

↓

AI:

Redis...
Redis是一种...
Redis是一种基于内存...
Redis是一种基于内存的高性能数据库...

为什么 ChatGPT 可以逐字输出?

先说结论:

ChatGPT 并不是等答案生成完成后一次性返回。

而是:

生成一个Token
↓
返回一个Token

生成一个Token
↓
返回一个Token

生成一个Token
↓
返回一个Token

不断重复。

因此前端看到的效果就是:

打字机效果

什么是 Streaming?

Streaming(流式输出)指:

边生成
边返回

而不是:

全部生成完成
再返回

普通接口(Blocking)

Day 1 实现的就是这种方式:

用户提问
    ↓
等待5秒
    ↓
返回完整答案

返回:

{
  "answer":"Redis是一种基于内存的高性能数据库..."
}

特点:

  • 简单
  • 容易开发
  • 用户体验一般

Streaming

流式模式:

用户提问
    ↓
立即返回第一个Token
    ↓
持续返回Token
    ↓
最终结束

返回过程:

Redis

Redis是一种

Redis是一种基于

Redis是一种基于内存

Redis是一种基于内存的数据库

特点:

  • 响应更快
  • 用户体验更好
  • AI 产品标准方案

DeepSeek Streaming 是如何工作的?

调用接口:

POST https://api.deepseek.com/chat/completions

请求体:

{
  "model":"deepseek-chat",
  "messages":[
    {
      "role":"user",
      "content":"什么是Redis"
    }
  ],
  "stream": true
}

关键参数:

"stream": true

开启后,DeepSeek 不再一次性返回答案。

而是返回数据流。


什么是 SSE?

SSE 全称:

Server-Sent Events

即:

服务器主动向浏览器推送消息

它本质上仍然是 HTTP。

并不是新的协议。

响应头:

Content-Type: text/event-stream

消息格式:

data: xxx

data: xxx

data: xxx

浏览器会持续监听这些数据。


为什么 AI 聊天喜欢使用 SSE?

因为 AI 对话天然符合:

用户发送一次请求
↓
服务器不断返回内容

属于:

单向数据流

而 SSE 正好擅长:

服务器
    →
浏览器

这种场景。


SSE 和 WebSocket 的区别

对比项SSEWebSocket
通信方向单向双向
协议HTTPWebSocket
实现复杂度低较高
AI聊天非常适合可以但没必要
多人聊天室不适合适合

对于 AI Chat:

用户发一次
AI持续返回

使用 SSE 已经足够。


Spring Boot 如何实现 SSE?

Spring 已经内置:

SseEmitter

返回:

@GetMapping("/stream")
public SseEmitter stream() {
    return new SseEmitter();
}

核心方法:

emitter.send(data);

作用:

向浏览器推送一段内容

完成后:

emitter.complete();

关闭连接。


React 如何接收 SSE?

最简单方式:

const source = new EventSource("/api/chat/stream");

监听:

source.addEventListener("message", (e) => {
    console.log(e.data);
});

每收到一段内容:

setAnswer(prev => prev + token);

不断拼接。

最终实现:

Redis...
Redis是一种...
Redis是一种基于...

这样的实时输出效果。


今天最大的收获

Day 1 学到:

Prompt
Context
Token
LLM

知道 AI 为什么能回答问题。


Day 2 学到:

Streaming
SSE
Token推送
实时聊天

知道 ChatGPT 为什么能实时输出。


面试高频问题

为什么 ChatGPT 可以一个字一个字输出?

因为大模型本身是逐 Token 生成内容的。

开启 Streaming 后,每生成一个 Token,服务端就通过 SSE 推送给前端,因此用户能够实时看到生成过程。


什么是 SSE?

SSE(Server-Sent Events)是一种基于 HTTP 的服务器推送技术。

服务端可以持续向浏览器发送数据,而浏览器实时接收并渲染。


为什么聊天场景经常使用 SSE 而不是 WebSocket?

因为 AI 对话本质上是:

用户发送一次请求
↓
服务端持续返回内容

属于单向数据流。

SSE 更简单、更轻量,也更符合 AI 聊天场景。


Day 2 总结

今天完成了:

  • 理解 Streaming
  • 理解 Token 流式生成
  • 理解 SSE
  • 理解 SSE 与 WebSocket 区别
  • 使用 DeepSeek 开启 stream 模式
  • Spring Boot 实现流式接口
  • React 实现实时聊天效果

现在已经具备了开发一个基础 AI Chat 应用的能力。

下一步计划学习:

Embedding
    ↓
向量化
    ↓
向量数据库
    ↓
RAG

让 AI 不仅能聊天,还能基于企业知识库回答问题。