大模型实践

之前发现不同框架的性能差异有出入，当时并没有太在意。最近，对社区开源的LLM性能压测工具做了一个深度体验。发现各个框架对于各指标（如：ILT/TPOT）的定义真的是五花八门，稍微不注意可能就会用错里面

随着 ChatGPT 迅速走红，这两年大家在日常工作中使用 LLM 进行的场景越来越多。本系列将针对主流算法架构进行讲解。 大模型算法演进 大模型算法架构：QWen技术演进及剖析 大模型算法架构：De

可重复性是科学进步的基石。然而，从大语言模型中获得可重复的结果非常困难。例如：当你多次向 DeekSeek 询问同样的问题时，会产生不同的结果。这本身并不奇怪，因为从语言模型获得结果时涉及“采样”，这

DeepGEMM 简介 DeepGEMM 是一个用于 FP8 矩阵乘法（GEMM）的库，旨在实现简洁高效的计算，支持细粒度缩放以减轻特征异常值引起的量化误差，相关技术在 DeepSeek-V3 中被提

简介 LLM生成是根据提示词以及之前生成的token生成下一个token的概率分布，之后通过不同解码策略来生成下一个token（词元）。 从数学角度来看，输出概率分布可以表示为： 具体的LLM推理及解

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。 模

随着 ChatGPT 迅速走红，这两年大家在日常工作中使用 LLM 进行的场景越来越多。本系列将针对主流算法架构进行讲解。 大模型算法演进 大模型算法架构：QWen技术演进及剖析 大模型算法架构：De

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变

近两年大模型火出天际；同时，也诞生了大量针对大模型的优化技术。本系列将针对一些常见大模型优化技术进行讲解。

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变

在日常AI模型训练过程中，训练好的模型权重通常需要以一种格式存储在磁盘中。比如：目前最流行的AI框架 PyT

由于 GPU 资源稀缺和昂贵，一定程度上使得大模型的应用和普及变得困难。因此，本文从大模型推理部署出发，介绍了一些低硬件成本（消费级GPU、CPU等）部署大模型的方法，并着重介绍了低显存推理优化技术O

近两年大模型火出天际；同时，也诞生了大量针对大模型的优化技术。本系列将针对一些常见大模型优化技术进行讲解。

随着大模型的爆火，投入到生产环境的模型参数量规模也变得越来越大（从数十亿参数到千亿参数规模），从而导致大模型

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。 模

在日常AI模型训练过程中，需要好的模型权重通常需要以一种格式存储在磁盘中。比如：目前最流行的AI框架 PyT

随着，ChatGPT 迅速爆火，引发了大模型的时代变革。然而对于普通大众来说，进行大模型的预训练或者全量微调遥不可及。由此，催生了各种参数高效微调技术，让科研人员或者普通开发者有机会尝试微调大模型。

随着 ChatGPT 的现象级走红，引领了AI大模型时代的变革，从而导致 AI 算力日益紧缺。与此同时，中美