首页
沸点
课程
数据标注
HOT
AI Coding
更多
直播
活动
APP
插件
直播
活动
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
登录
注册
确定删除此收藏集吗
删除后此收藏集将被移除
取消
确定删除
确定删除此文章吗
删除后此文章将被从当前收藏集中移除
取消
确定删除
编辑收藏集
名称:
描述:
0
/100
公开
当其他人关注此收藏集后不可再更改为隐私
隐私
仅自己可见此收藏集
取消
确定
LLM
订阅
Henry_Joe
更多收藏集
微信扫码分享
微信
新浪微博
QQ
1篇文章 · 0订阅
0. nano-vllm:大模型推理原理和流程
0. 简介 LLM:就是大语言模型,指参数量较大且具有较强生成能力的语言模型。 vLLM:功能完备的生产级大语言模型推理引擎。 nano-vllm:是vLLM的极简教学版实现,代码只有1200行左右。