真忒修斯之船

TensorRT-LLM是 NVIDIA 提供的一个用于LLMs在 NVIDIA GPU 上的推理性能的开源库。它通过一系列先进的优化技术，如量化、内核融合、动态批处理和多GPU 支持

TGI是一个由Hugging Face开发的用于部署和提供LLMs的框架。它是一个生产级别的工具包，专门设计用于在本地机器上以服务的形式运行大型语言模型

我自己在北平的生活是十分困苦的。我住在一个叫三眼井的地方，和另外七个人合住一个小房间，我们全体挤在炕上，连呼吸的地方都没有。每逢我翻身都得预先警告身旁的人。不过在公园和故宫的宫址我看到了北国的早春。

vLLM是一种基于PagedAttention的推理框架，通过分页处理注意力计算，实现了高效、快速和廉价的LLM服务。在推理过程中，将注意力计算分为多个页面，每个页面只计算一部分的注意力分布。

除了分布式推理和支持量化之外，大模型推理框架最大的用处是加速推理。加速推理的主要目的是提高推理效率，减少计算和内存需求，满足实时性要求，降低部署成本

Accelerate是一个用于简化和加速深度学习模型训练的库，它支持在多种硬件配置上进行分布式训练，包括 CPU、GPU、TPU 等。

Megatron-LM 通过模型并行的方式，允许训练具有数千亿参数的模型。该框架综合应用了数据并行、张量并行和流水线并行来训练像 GPT这样的大型模型

DeepSpeed是由微软研究团队开发的一个深度学习优化库，旨在提供高效、可扩展的大规模模型训练能力。它通过采用先进的并行化策略、内存优化技术和混合精度训练来显著提高训练效率

FSDP 可以看作是微软 Deepspeed 框架中提出的三种级别的 ZERO 算法中的 `ZERO-3` 的实现。