AI 应用开发 Day 2:实现 ChatGPT 一样的流式输出(Streaming + SSE 实战)
Day 1 我完成了 Spring Boot 调用 DeepSeek API,并成功返回模型回答。
整个流程如下:
Postman
↓
Spring Boot
↓
DeepSeek API
↓
返回完整答案
虽然功能已经实现,但体验和 ChatGPT 还有一个非常大的差距:
必须等待模型全部生成完成
才能看到结果
而 ChatGPT 的体验是:
Redis...
Redis是一种...
Redis是一种基于内存...
Redis是一种基于内存的数据库...
内容会不断出现,仿佛 AI 正在实时思考。
因此 Day 2 的目标只有一个:
理解并实现 AI 流式输出(Streaming)。
今日目标
实现下面这条链路:
用户提问
↓
Spring Boot
↓
DeepSeek Streaming
↓
SSE
↓
React 实时显示
最终效果:
用户:
什么是Redis?
↓
AI:
Redis...
Redis是一种...
Redis是一种基于内存...
Redis是一种基于内存的高性能数据库...
为什么 ChatGPT 可以逐字输出?
先说结论:
ChatGPT 并不是等答案生成完成后一次性返回。
而是:
生成一个Token
↓
返回一个Token
生成一个Token
↓
返回一个Token
生成一个Token
↓
返回一个Token
不断重复。
因此前端看到的效果就是:
打字机效果
什么是 Streaming?
Streaming(流式输出)指:
边生成
边返回
而不是:
全部生成完成
再返回
普通接口(Blocking)
Day 1 实现的就是这种方式:
用户提问
↓
等待5秒
↓
返回完整答案
返回:
{
"answer":"Redis是一种基于内存的高性能数据库..."
}
特点:
- 简单
- 容易开发
- 用户体验一般
Streaming
流式模式:
用户提问
↓
立即返回第一个Token
↓
持续返回Token
↓
最终结束
返回过程:
Redis
Redis是一种
Redis是一种基于
Redis是一种基于内存
Redis是一种基于内存的数据库
特点:
- 响应更快
- 用户体验更好
- AI 产品标准方案
DeepSeek Streaming 是如何工作的?
调用接口:
POST https://api.deepseek.com/chat/completions
请求体:
{
"model":"deepseek-chat",
"messages":[
{
"role":"user",
"content":"什么是Redis"
}
],
"stream": true
}
关键参数:
"stream": true
开启后,DeepSeek 不再一次性返回答案。
而是返回数据流。
什么是 SSE?
SSE 全称:
Server-Sent Events
即:
服务器主动向浏览器推送消息
它本质上仍然是 HTTP。
并不是新的协议。
响应头:
Content-Type: text/event-stream
消息格式:
data: xxx
data: xxx
data: xxx
浏览器会持续监听这些数据。
为什么 AI 聊天喜欢使用 SSE?
因为 AI 对话天然符合:
用户发送一次请求
↓
服务器不断返回内容
属于:
单向数据流
而 SSE 正好擅长:
服务器
→
浏览器
这种场景。
SSE 和 WebSocket 的区别
| 对比项 | SSE | WebSocket |
|---|---|---|
| 通信方向 | 单向 | 双向 |
| 协议 | HTTP | WebSocket |
| 实现复杂度 | 低 | 较高 |
| AI聊天 | 非常适合 | 可以但没必要 |
| 多人聊天室 | 不适合 | 适合 |
对于 AI Chat:
用户发一次
AI持续返回
使用 SSE 已经足够。
Spring Boot 如何实现 SSE?
Spring 已经内置:
SseEmitter
返回:
@GetMapping("/stream")
public SseEmitter stream() {
return new SseEmitter();
}
核心方法:
emitter.send(data);
作用:
向浏览器推送一段内容
完成后:
emitter.complete();
关闭连接。
React 如何接收 SSE?
最简单方式:
const source = new EventSource("/api/chat/stream");
监听:
source.addEventListener("message", (e) => {
console.log(e.data);
});
每收到一段内容:
setAnswer(prev => prev + token);
不断拼接。
最终实现:
Redis...
Redis是一种...
Redis是一种基于...
这样的实时输出效果。
今天最大的收获
Day 1 学到:
Prompt
Context
Token
LLM
知道 AI 为什么能回答问题。
Day 2 学到:
Streaming
SSE
Token推送
实时聊天
知道 ChatGPT 为什么能实时输出。
面试高频问题
为什么 ChatGPT 可以一个字一个字输出?
因为大模型本身是逐 Token 生成内容的。
开启 Streaming 后,每生成一个 Token,服务端就通过 SSE 推送给前端,因此用户能够实时看到生成过程。
什么是 SSE?
SSE(Server-Sent Events)是一种基于 HTTP 的服务器推送技术。
服务端可以持续向浏览器发送数据,而浏览器实时接收并渲染。
为什么聊天场景经常使用 SSE 而不是 WebSocket?
因为 AI 对话本质上是:
用户发送一次请求
↓
服务端持续返回内容
属于单向数据流。
SSE 更简单、更轻量,也更符合 AI 聊天场景。
Day 2 总结
今天完成了:
- 理解 Streaming
- 理解 Token 流式生成
- 理解 SSE
- 理解 SSE 与 WebSocket 区别
- 使用 DeepSeek 开启 stream 模式
- Spring Boot 实现流式接口
- React 实现实时聊天效果
现在已经具备了开发一个基础 AI Chat 应用的能力。
下一步计划学习:
Embedding
↓
向量化
↓
向量数据库
↓
RAG
让 AI 不仅能聊天,还能基于企业知识库回答问题。