coting

面试官：我们来聊聊Transformer吧，Transformer的复杂度为什么这么高？有什么办法能优化到线性级吗？ 面对这种原理与优化问题，其实都是有模板的，下面我们来看一看该怎么回答。

最近，美团开源的 LongCat-Flash 彻底炸了 AI 圈。 它用 国产算力 完成了一个 5600 亿参数的大模型训练

训练大规模深度学习模型不仅依赖优化器和硬件，还需要高效的训练框架。不同框架在功能、性能和易用性上各有特点，针对 GPU/TPU、多节点分布式训练和混合精度计算有不同的支持策略。

在大模型训练中，通信效率直接影响训练吞吐量和扩展性。本文将浅浅介绍一下 Horovod 与 NCCL 的通信原理、性能瓶颈以及集群部署优化技巧。

在大模型训练中，显存瓶颈是制约模型规模的重要因素。DeepSpeed 推出的 Zero 系列，通过将模型状态（参数、梯度、优化器状态）分布到不同GPU 上，实现显著的显存优化。

随着模型参数量快速增长，超过单张 GPU 显存承载能力的情况越来越常见。对于超大规模模型（如百亿参数以上），仅靠数据并行已无法训练。这时，模型并行（Model Parallelism） 应运而生。

在训练中等规模到大型深度学习模型时，单块GPU可能无法充分利用计算资源或处理足够的数据批次。数据并行是一种简单且高效的并行训练策略，通过在多张GPU上复制模型副本并分批处理数据，实现训练加速和性能优化

随着大模型规模不断增长，单卡训练已经无法满足计算和存储需求。分布式训练成为模型训练的必备手段，从底层硬件基础架构到梯度同步与优化器机制，每一环节都直接影响训练效率和收敛效果。

随着深度学习模型规模不断增大，从几亿参数到上百亿甚至千亿参数，单块GPU已经难以承载模型训练的显存和计算需求。为了突破显存限制、提升训练速度，研究者提出了多种并行训练策略。