据路透社披露*，OpenAI将在11月6日的首次开发者大会上发布重要更新，将推出Stateful API，理论上可将大模型应用的开销削减为原来的二十分之一。”

我们推测Stateful API的实现方式如下：类似KV缓存的机制，缓存用户对话的历史记录，降低计算规模。

但是其动机是什么？
展开
优弧于2023-10-17 04:42发布的图片
大模型生态圈
avatar
avatar
avatar
等人赞过
14
相关推荐