#DeepSeek 体验分享# 我有一个简单的数据。在应用Contextual Retrieval的时候,需要向LLM投喂整篇文章来生成Chunk级别的上下文,我把DeepSeek V3.2换成 DeepSeek V4-flash后,上下文生成效率大概提升了2.8倍(Chunk级别异步,利用DeepSeek自动缓存管理来达到92%+的缓存命中)。可以看出来flash型号推理效率还是很惊人的
PS:之前还是文章级别异步Chunk级别串行,这个改造的效果更显著,换模型可以算是性价比上锦上添花吧
PS:之前还是文章级别异步Chunk级别串行,这个改造的效果更显著,换模型可以算是性价比上锦上添花吧
展开
2
点赞
![[微笑]](http://lf-web-assets.juejin.cn/obj/juejin-web/xitu_juejin_web/img/jj_emoji_1.7d9f699.png)
![[无辜呆]](http://lf-web-assets.juejin.cn/obj/juejin-web/xitu_juejin_web/img/jj_emoji_96.4fb9d71.png)