吃果冻不吐果冻皮

之前发现不同框架的性能差异有出入，当时并没有太在意。最近，对社区开源的LLM性能压测工具做了一个深度体验。发现各个框架对于各指标（如：ILT/TPOT）的定义真的是五花八门，稍微不注意可能就会用错里面

随着 ChatGPT 迅速走红，这两年大家在日常工作中使用 LLM 进行的场景越来越多。本系列将针对主流算法架构进行讲解。 大模型算法演进 大模型算法架构：QWen技术演进及剖析 大模型算法架构：De

可重复性是科学进步的基石。然而，从大语言模型中获得可重复的结果非常困难。例如：当你多次向 DeekSeek 询问同样的问题时，会产生不同的结果。这本身并不奇怪，因为从语言模型获得结果时涉及“采样”，这

DeepGEMM 简介 DeepGEMM 是一个用于 FP8 矩阵乘法（GEMM）的库，旨在实现简洁高效的计算，支持细粒度缩放以减轻特征异常值引起的量化误差，相关技术在 DeepSeek-V3 中被提

简介 LLM生成是根据提示词以及之前生成的token生成下一个token的概率分布，之后通过不同解码策略来生成下一个token（词元）。 从数学角度来看，输出概率分布可以表示为： 具体的LLM推理及解

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。 模

随着 ChatGPT 迅速走红，这两年大家在日常工作中使用 LLM 进行的场景越来越多。本系列将针对主流算法架构进行讲解。 大模型算法演进 大模型算法架构：QWen技术演进及剖析 大模型算法架构：De

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变