获得徽章 17
动态
文章
专栏
沸点
收藏集
关注
作品
赞
22
赞
22
返回
|
搜索文章
最新 热门
  • 大模型推理服务调度优化技术-Continuous batching
    近两年大模型火出天际；同时，也诞生了大量针对大模型的优化技术。本系列将针对一些常见大模型优化技术进行讲解。
    • 10月前
    • 2.1k
    • 评论
    LLM
  • TensorRT-LLM保姆级教程（三）-使用Triton推理服务框架部署模型
    随着大模型的爆火，投入到生产环境的模型参数量规模也变得越来越大（从数十亿参数到千亿参数规模），从而导致大模型
    • 10月前
    • 3.1k
    • 评论
    LLM
  • 大模型量化技术原理：FP8
    近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。 模
    • 11月前
    • 1.5k
    • 评论
    LLM
  • 一文详解模型权重存储新格式 Safetensors
    在日常AI模型训练过程中，需要好的模型权重通常需要以一种格式存储在磁盘中。比如：目前最流行的AI框架 PyT
    • 11月前
    • 3.4k
    • 1
    LLM
  • 大模型参数高效微调技术原理综述（七）-最佳实践、总结
    随着，ChatGPT 迅速爆火，引发了大模型的时代变革。然而对于普通大众来说，进行大模型的预训练或者全量微调遥不可及。由此，催生了各种参数高效微调技术，让科研人员或者普通开发者有机会尝试微调大模型。
    • 11月前
    • 586
    • 评论
    后端
  • 大模型国产化适配11-LLM训练性能基准测试（昇腾910B3）
    随着 ChatGPT 的现象级走红，引领了AI大模型时代的变革，从而导致 AI 算力日益紧缺。与此同时，中美
    • 1年前
    • 2.8k
    • 4
    LLM
  • 大模型国产化适配10-快速迁移大模型到昇腾910B保姆级教程（Pytorch版）
    随着 ChatGPT 的现象级走红，引领了AI大模型时代的变革，从而导致 AI 算力日益紧缺。与此同时，中美
    • 1年前
    • 4.5k
    • 3
    LLM
  • 大模型国产化适配9-LLM推理框架MindIE-Service性能基准测试
    随着 ChatGPT 的现象级走红，引领了AI大模型时代的变革，从而导致 AI 算力日益紧缺。与此同时，中美
    • 1年前
    • 2.8k
    • 3
    LLM
  • 大模型国产化适配8-基于昇腾MindIE推理工具部署Qwen-72B实战（推理引擎、推理服务化）
    随着 ChatGPT 的现象级走红，引领了AI大模型时代的变革，从而导致 AI 算力日益紧缺。与此同时，中美
    • 1年前
    • 5.9k
    • 20
    算法
  • MindIE 1.0.RC1 发布，华为昇腾终于推出了针对LLM的完整部署方案，结束小米加步枪时代
    随着 ChatGPT 的现象级走红，引领了AI大模型时代的变革，从而导致 AI 算力日益紧缺。与此同时，中美贸易战以及美国对华进行AI芯片相关的制裁导致 AI 算力的国产化适配势在必行。之前也分享过一
    • 1年前
    • 1.5k
    • 1
    LLM
    • 下一页
    个人成就
    文章被点赞 613
    文章被阅读 634,093
    掘力值 13,221
    收藏集
    4
    关注标签
    18
    加入于