获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
2
赞
2
返回
|
搜索文章
最新 热门
  • 多卡并行推理：TP vs PP vs EP —— 分布式推理策略深度对比
    多卡并行推理：TP vs PP vs EP —— 分布式推理策略深度对比 一、那个把工程师逼疯的瞬间 "老板说要部署一个70B模型，我一看显存——单卡A100 80GB根本装不下。怎么办？" 这是某A
    • 11小时前
    • 6
    • 评论
    后端
  • KV Cache深度解析：LLM推理的显存杀手与优化之道
    KV Cache深度解析：LLM推理的显存杀手与优化之道 一、那个把工程师逼疯的瞬间 "老板说要支持128K上下文，我改了配置一跑——OOM。加显存？A100已经是最强的了。怎么办？" 这是某AI公司
    • 11小时前
    • 5
    • 评论
    后端
  • Serverless冷启动优化：从3秒到300ms的破局之道
    Serverless冷启动优化：从3秒到300ms的破局之道 一、那个把工程师逼疯的瞬间 凌晨3点，生产环境告警响起。 某个API接口响应超时，用户投诉接踵而至。你排查半天，发现罪魁祸首竟然是——Se
    • 1天前
    • 15
    • 评论
    Serverless
    • 个人成就
    文章被阅读 26
    掘力值 45
    收藏集
    0
    关注标签
    0
    加入于