78. AI应用-大模型调用-会话记忆方案

1 阅读1分钟

1. 会话记忆

会话上下文743f1ad4-1df6-4c05-b50d-866b7abf2f89.png

2. 会话上下文记忆实现

同一轮对话窗口里,发的每一段代码、报错、需求,都会连同AI的回复一起,作为上下文一起传给模型,所以 大模型 能接续前面的代码继续改、排查报错。 bff585fd-5713-4c08-a8e9-c10f1efb0cf6.png

3. stream 请求参数意义

  1. 开启stream:true时,返回是多条 chunk 分片;关闭后返回是单条完整 JSON。
  2. 很多 SDK 默认stream=false;聊天产品一般会手动设置stream:true实现打字效果。

8daf6e1e-44dd-43c3-8fd0-ce7d0b37dce9.png

4. stream:true的请求 & 返回示例

image.png