稀土掘金 稀土掘金
    • 首页
    • 沸点
    • 课程
    • 数据标注 HOT
    • AI Coding
    • 更多
      • 直播
      • 活动
      • APP
      • 插件
    • 直播
    • 活动
    • APP
    • 插件
      • 搜索历史 清空
        • 写文章
        • 发沸点
        • 写笔记
        • 写代码
        • 草稿箱
        创作灵感 查看更多
确定删除此收藏集吗
删除后此收藏集将被移除
取消
确定删除
确定删除此文章吗
删除后此文章将被从当前收藏集中移除
取消
确定删除
编辑收藏集
0 /100
LLM
订阅
avatar
Henry_Joe
更多收藏集

微信扫码分享

微信
新浪微博
QQ

1篇文章 · 0订阅
  • 0. nano-vllm:大模型推理原理和流程
    0. 简介 LLM:就是大语言模型,指参数量较大且具有较强生成能力的语言模型。 vLLM:功能完备的生产级大语言模型推理引擎。 nano-vllm:是vLLM的极简教学版实现,代码只有1200行左右。
    • IguoChan
    • 17天前
    • 133
    • 1
    • 评论
    AIOps
    0. nano-vllm:大模型推理原理和流程