Transformer深度拆解

Transformer深度拆解

Transformer深度拆解

# Transformer深度解析系列本系列包含12章深度技术文章，涵盖Attention机制、架构设计等核心内容。由于掘金平台限制，完整版（含架构图和数学公式）请访问： 📖 GitHub: https://github.com/Yunzenn/blog

暂无订阅共12篇文章创建于2026-04-25

第12章：综合面试演练——从零设计一个Transformer

第12章：综合面试演练——从零设计一个Transformer 本章使用说明这一章不是让你背答案的。每道题我会给出答题框架——也就是你应该从哪几章提取知识点来组织回答。具体的答案需要你自己组织。为什

3天前
5
点赞
评论

第12章：综合面试演练——从零设计一个Transformer

第11章：长文本之战——Kimi如何突破200K+ tokens？

第11章：长文本之战——Kimi如何突破200K+ tokens？核心困惑为什么Kimi能处理200K+ tokens，而原论文的Transformer只能处理512 tokens？原论文的Tr

4天前
4
1
评论

第11章：长文本之战——Kimi如何突破200K+ tokens？

第10章：MoE架构深度拆解——DeepSeek V3如何用671B参数达到GPT-4效果？

第10章：MoE架构深度拆解——DeepSeek V3如何用671B参数达到GPT-4效果？核心困惑为什么DeepSeek V3能用671B参数达到GPT-4的效果，但推理成本只有1/10？原论

5天前
8
1
评论

第10章：MoE架构深度拆解——DeepSeek V3如何用671B参数达到GPT-4效果？

第09章：架构选择的分野——Decoder-only为什么赢了通用语言建模？

第09章：架构选择的分野——Decoder-only为什么赢了通用语言建模？核心困惑为什么GPT、Claude、Gemini都选择Decoder-only架构？Encoder-Decoder架构死

5天前
11
1
评论

第09章：架构选择的分野——Decoder-only为什么赢了通用语言建模？

第08章：训练的艺术——Warmup、Label Smoothing与Adam的共谋

第08章：训练的艺术——Warmup、Label Smoothing与Adam的共谋核心困惑为什么Transformer需要学习率warmup？Label Smoothing为什么有效？前面七章

5天前
10
1
评论

第08章：训练的艺术——Warmup、Label Smoothing与Adam的共谋

第07章：FFN——Transformer的”知识存储”藏在哪？

第07章：FFN——Transformer的”知识存储”藏在哪？由于掘金格式识别错误，所以有些公式会显示错误或者消失，看完整内容可移步其他平台或GitHub，https://github.com/Y

15天前
26
1
评论

第07章：FFN——Transformer的”知识存储”藏在哪？

第06章：Positional Encoding——正弦波是如何教会模型”数数”的？

第06章：Positional Encoding——正弦波是如何教会模型”数数”的？核心困惑为什么选择正弦函数？为什么不直接学习位置编码？ Self-Attention本身是位置无关的：Atten

15天前
24
1
评论

第06章：Positional Encoding——正弦波是如何教会模型”数数”的？

第05章：残差连接与Layer Normalization——Transformer的"高速公路"

第05章：残差连接与Layer Normalization——Transformer的"高速公路" 核心困惑残差连接和LayerNorm各自解决什么问题？Pre-LN和Post-LN有什么区别？前

18天前
19
1
评论

第05章：残差连接与Layer Normalization——Transformer的"高速公路"

第04章：Multi-Head Attention——八个头，八个视角，还是八份低秩分解？

第04章：Multi-Head Attention——八个头，八个视角，还是八份低秩分解？由于掘金平台限制，完整版（含架构图和数学公式）请访问其他平台同名账号或： 📖 GitHub: https:/

19天前
21
1
评论

第04章：Multi-Head Attention——八个头，八个视角，还是八份低秩分解？

第03章：Scaled Dot-Product Attention——那个√d_k到底在防什么？

第03章：Scaled Dot-Product Attention——那个√d_k到底在防什么？本系列包含12章深度技术文章，涵盖Attention机制、架构设计等核心内容。由于掘金平台限制，完整

20天前
39
1
评论

第03章：Scaled Dot-Product Attention——那个√d_k到底在防什么？

第01章：为什么是Attention？——从RNN的梯度瓶颈到Self-Attention的常数量路径

第01章：为什么是Attention？——从RNN的梯度瓶颈到Self-Attention的常数量路径核心困惑为什么Transformer要完全抛弃RNN和CNN，仅仅依靠Attention机制？

22天前
31
1
评论

第01章：为什么是Attention？——从RNN的梯度瓶颈到Self-Attention的常数量路径

第02章：Transformer架构全景图——Encoder、Decoder与三种Attention的数据流

第02章：Transformer架构全景图——Encoder、Decoder与三种Attention的数据流核心困惑 Transformer的整体架构是什么样的？Encoder和Decoder各自干

21天前
48
1
评论

第02章：Transformer架构全景图——Encoder、Decoder与三种Attention的数据流