稀土掘金 稀土掘金
    • 首页
    • AI Coding
    • 数据标注 NEW
    • 沸点
    • 课程
    • 直播
    • 活动
    • APP
      插件
      • 搜索历史 清空
        • 写文章
        • 发沸点
        • 写笔记
        • 写代码
        • 草稿箱
        创作灵感 查看更多
确定删除此收藏集吗
删除后此收藏集将被移除
取消
确定删除
确定删除此文章吗
删除后此文章将被从当前收藏集中移除
取消
确定删除
编辑收藏集
0 /100
LLM
订阅
avatar
Jensen__
更多收藏集

微信扫码分享

微信
新浪微博
QQ

1篇文章 · 0订阅
  • 大模型推理加速-KV Cache
    用空间换时间,将Attention计算的K,V缓存起来,在后续迭代过程中,直接使用前一次迭代缓存的前序单词的K,V向量进行Attention计算,这种技术就叫KV Cache。
    • 不会弹吉他的布鲁克
    • 1年前
    • 1.5k
    • 点赞
    • 评论
    算法 人工智能