嵌入式视觉

（直到 GPT 出来之前）大多数有竞争力的神经序列转换模型都是采用编码器-解码器结构，transformer 模型也不例外。

本文总结了 Transformers 的常用术语并给出详细解释，然后对 transformers 库总结了快速使用方法，并结合实例代码做分析，可当作 LLM 的快速入门学习。

我们都知道大语言模型（LLM）的计算成本极高，且在许多实际场景中都会有响应速度太慢的问题，总结起来就是 LLM 的推理的有两个主要挑战：延迟（lateny）和成本（cost）。

本文总结了 DeepSpeed Inference 系统的主要三个特性，如具有自适应并行性的多 GPU 推理、专为推理优化的 CUDA 内核和灵活的量化感知训练以及量化推理内核。

BLOOM模型也是 Decoder-only 架构，但和原始 decoder 结构主要有两个区别: ALiBi Positional Embeddings 和 Embedding LayerNorm。

所谓量化，其实可以等同于低精度（Low precision）概念，常规模型精度一般使用 FP32（32 位浮点数，单精度）存储模型权重参数，低精度则表示使用 INT8、FP16 等权重数值格式。

本文主要从模型推理角度去总结论文，因此没有涉及到数据集处理、模型训练及试验报告的细节，只介绍了 LLaMA 模型的主要思想以及模型结构的细节，最后介绍一些基于 LLaMA finetune 的模型。

asterTransformer 包含 Transformer 块的高度优化版本的实现，其中包含编码器 Encoder 和解码器 Decoder部分。基于 FT 可以运行完整的编码器-解码器架构模型。

本文详细解析了Transformer整体模型结构，并深入分析了各个layer层的原理及给出了计算公式，针对每个 layer、block 都给出了较为详细的代码实现方便深入理解网络结构。