#DeepSeek 体验分享# 我有一个简单的数据。在应用Contextual Retrieval的时候,需要向LLM投喂整篇文章来生成Chunk级别的上下文,我把DeepSeek V3.2换成 DeepSeek V4-flash后,上下文生成效率大概提升了2.8倍(Chunk级别异步,利用DeepSeek自动缓存管理来达到92%+的缓存命中)。可以看出来flash型号推理效率还是很惊人的

PS:之前还是文章级别异步Chunk级别串行,这个改造的效果更显著,换模型可以算是性价比上锦上添花吧
展开
2