获得徽章 17
动态
文章
专栏
沸点
收藏集
关注
作品
赞
22
赞
22
返回
|
搜索文章
吃果冻不吐果冻皮的头像
吃果冻不吐果冻皮
🏆掘金签约作者｜人工智能方向
·
3月前

大模型量化技术原理：QoQ量化及QServe推理服务系统

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变...
1
吃果冻不吐果冻皮的头像
吃果冻不吐果冻皮
🏆掘金签约作者｜人工智能方向
·
3月前

大模型量化技术原理：Atom、QuaRot

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变...
评论
吃果冻不吐果冻皮的头像
吃果冻不吐果冻皮
🏆掘金签约作者｜人工智能方向
·
3月前

大模型量化技术原理：KIVI、IntactKV、KVQuant

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变...
评论
吃果冻不吐果冻皮的头像
吃果冻不吐果冻皮
🏆掘金签约作者｜人工智能方向
·
3月前

大模型推理优化技术-KV Cache量化

近两年大模型火出天际；同时，也诞生了大量针对大模型的优化技术。本系列将针对一些常见大模型优化技术进行讲解。...
评论
吃果冻不吐果冻皮的头像
吃果冻不吐果冻皮
🏆掘金签约作者｜人工智能方向
·
3月前

【LLM国产化】量化技术在MindIE中的应用

目前，由于大模型参数量显著激增，从而导致模型变得越来越大。因此，需要一些大模型压缩技术来降低模型部署的成本，...
评论
吃果冻不吐果冻皮的头像
吃果冻不吐果冻皮
🏆掘金签约作者｜人工智能方向
·
4月前

大模型量化技术原理：FP6

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变...
评论
吃果冻不吐果冻皮的头像
吃果冻不吐果冻皮
🏆掘金签约作者｜人工智能方向
·
4月前

一文搞懂大模型文件存储格式新宠GGUF

在日常AI模型训练过程中，训练好的模型权重通常需要以一种格式存储在磁盘中。比如：目前最流行的AI框架 PyT...
评论
吃果冻不吐果冻皮的头像
吃果冻不吐果冻皮
🏆掘金签约作者｜人工智能方向
·
4月前

大模型低显存推理优化-Offload技术

由于 GPU 资源稀缺和昂贵，一定程度上使得大模型的应用和普及变得困难。因此，本文从大模型推理部署出发，介绍了一些低硬件成本（消费级GPU、CPU等）部署大模型的方法，并着...
1
吃果冻不吐果冻皮的头像
吃果冻不吐果冻皮
🏆掘金签约作者｜人工智能方向
·
5月前

大模型推理服务调度优化技术-Continuous batching

近两年大模型火出天际；同时，也诞生了大量针对大模型的优化技术。本系列将针对一些常见大模型优化技术进行讲解。...
评论
吃果冻不吐果冻皮的头像
吃果冻不吐果冻皮
🏆掘金签约作者｜人工智能方向
·
5月前

TensorRT-LLM保姆级教程（三）-使用Triton推理服务框架部署模型

随着大模型的爆火，投入到生产环境的模型参数量规模也变得越来越大（从数十亿参数到千亿参数规模），从而导致大模型...
评论
吃果冻不吐果冻皮的头像
吃果冻不吐果冻皮
🏆掘金签约作者｜人工智能方向
·
6月前

大模型量化技术原理：FP8

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本...
评论
吃果冻不吐果冻皮的头像
吃果冻不吐果冻皮
🏆掘金签约作者｜人工智能方向
·
6月前

一文详解模型权重存储新格式 Safetensors

在日常AI模型训练过程中，需要好的模型权重通常需要以一种格式存储在磁盘中。比如：目前最流行的AI框架 PyT...
1
吃果冻不吐果冻皮的头像
吃果冻不吐果冻皮
🏆掘金签约作者｜人工智能方向
·
6月前

大模型参数高效微调技术原理综述（七）-最佳实践、总结

随着，ChatGPT 迅速爆火，引发了大模型的时代变革。然而对于普通大众来说，进行大模型的预训练或者全量微调遥不可及。由此，催生了各种参数高效微调技术，让科研人员或者普通开...
评论
吃果冻不吐果冻皮的头像
吃果冻不吐果冻皮
🏆掘金签约作者｜人工智能方向
·
7月前

大模型国产化适配11-LLM训练性能基准测试（昇腾910B3）

随着 ChatGPT 的现象级走红，引领了AI大模型时代的变革，从而导致 AI 算力日益紧缺。与此同时，中美...
4
吃果冻不吐果冻皮的头像
吃果冻不吐果冻皮
🏆掘金签约作者｜人工智能方向
·
7月前

大模型国产化适配10-快速迁移大模型到昇腾910B保姆级教程（Pytorch版）

随着 ChatGPT 的现象级走红，引领了AI大模型时代的变革，从而导致 AI 算力日益紧缺。与此同时，中美...
2
吃果冻不吐果冻皮的头像
吃果冻不吐果冻皮
🏆掘金签约作者｜人工智能方向
·
7月前

大模型国产化适配9-LLM推理框架MindIE-Service性能基准测试

随着 ChatGPT 的现象级走红，引领了AI大模型时代的变革，从而导致 AI 算力日益紧缺。与此同时，中美...
3
吃果冻不吐果冻皮的头像
吃果冻不吐果冻皮
🏆掘金签约作者｜人工智能方向
·
8月前

大模型国产化适配8-基于昇腾MindIE推理工具部署Qwen-72B实战（推理引擎、推理服务化）

随着 ChatGPT 的现象级走红，引领了AI大模型时代的变革，从而导致 AI 算力日益紧缺。与此同时，中美...
20
吃果冻不吐果冻皮的头像
吃果冻不吐果冻皮
🏆掘金签约作者｜人工智能方向
·
8月前

MindIE 1.0.RC1 发布，华为昇腾终于推出了针对LLM的完整部署方案，结束小米加步枪时代

随着 ChatGPT 的现象级走红，引领了AI大模型时代的变革，从而导致 AI 算力日益紧缺。与此同时，中美贸易战以及美国对华进行AI芯片相关的制裁导致 AI 算力的国产化...
1
吃果冻不吐果冻皮的头像
吃果冻不吐果冻皮
🏆掘金签约作者｜人工智能方向
·
8月前

大模型推理优化技术-KV Cache

近两年大模型火出天际；同时，也诞生了大量针对大模型的优化技术。本系列将针对一些常见大模型优化技术进行讲解。...
3
吃果冻不吐果冻皮的头像
吃果冻不吐果冻皮
🏆掘金签约作者｜人工智能方向
·
9月前

迄今为止最强大的开源 LLM，15 万亿 Token 预训练的 LLaMA3 强势来袭

刚刚 Meta Llama3 强势发布，迄今为止功能最强大的公开可用的 LLM。此版本在经过 15 万亿个 Token 上预训练的语言模型，具有 8B 和 70B 两种参数...
评论
下一页
个人成就
文章被点赞 577
文章被阅读 558,886
掘力值 12,876
收藏集
4
关注标签
18
加入于