首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
推荐训练推理加速
不会弹吉他的布鲁克
创建于2024-08-30
订阅专栏
关注搜推广领域的训练推理加速
暂无订阅
共1篇文章
创建于2024-08-30
订阅专栏
默认顺序
默认顺序
最早发布
最新发布
大模型推理加速-KV Cache
用空间换时间,将Attention计算的K,V缓存起来,在后续迭代过程中,直接使用前一次迭代缓存的前序单词的K,V向量进行Attention计算,这种技术就叫KV Cache。