稀土掘金 稀土掘金
    • 首页
    • 沸点
    • 课程
    • 数据标注 HOT
    • AI Coding
    • 更多
      • 直播
      • 活动
      • APP
      • 插件
    • 直播
    • 活动
    • APP
    • 插件
      • 搜索历史 清空
        • 写文章
        • 发沸点
        • 写笔记
        • 写代码
        • 草稿箱
        创作灵感 查看更多
大模型推理的个人资料头像

大模型推理

创作等级LV.2
掘友等级
掘友2级:见习掘友
大模型推理优化、国产GPU适配。分享一线实战经验和踩坑记。
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
0
文章 0 沸点 0
赞
0
返回
|
搜索文章
最新 热门
  • 从零构建大语言模型 2:PyTorch 基础与资源核算
    从零构建大语言模型 2:PyTorch 基础与资源核算 本讲你将收获什么 理解训练 LLM 时的两类核心资源:内存(GB) 和 计算量(FLOPs) 掌握 PyTorch 张量的创建、数据类型(flo
    • 20天前
    • 32
    • 1
    • 评论
    人工智能
  • 从零构建大语言模型 1:全景概览与分词
    从零构建大语言模型 1:全景概览与分词 本讲你将收获什么 读完这篇讲义,你将理解: 大语言模型(LLM)到底在做什么——它和你以为的"人工智能"有什么不同 为什么 2024 年了还要从零写一个语言模型
    • 20天前
    • 34
    • 1
    • 1
    人工智能
  • GPU 利用率才 10%?——LLM 推理到底慢在哪?
    GPU 利用率才 10%?——LLM 推理到底慢在哪? 前置依赖:无(系列第一篇) 本篇代码:约 100 行 | 阅读时间:约 20 分钟 0. 环境准备 1. 问题引入:为什么 model.gene
    • 21天前
    • 119
    • 1
    • 评论
    人工智能 Python
    GPU 利用率才 10%?——LLM 推理到底慢在哪?
  • 个人成就
    文章被点赞 3
    文章被阅读 185
    掘力值 63
    关注了
    0
    关注者
    1
    收藏集
    0
    关注标签
    2
    加入于
    2020-07-26