罗西的思考

架构，设计 @ 公众号 : 罗西的思考

赞

29

|

搜索文章

探秘Transformer系列之（34）--- 量化基础

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。

1天前
31
点赞
评论

探秘Transformer系列之（27）--- MQA & GQA

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。

1天前
34
点赞
评论

探秘 Transformer系列之（33）--- DeepSeek MTP

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。

9天前
91
点赞
评论

探秘Transformer系列之（32）--- Lookahead Decoding

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。

16天前
37
点赞
评论

探秘Transformer系列之（31）--- Medusa

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。

27天前
59
1
评论

探秘Transformer系列之（30）--- 投机解码

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。

1月前
83
点赞
评论

探秘Transformer系列之（29）--- DeepSeek MoE

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。

1月前
138
2
评论

探秘Transformer系列之（28）--- DeepSeek MLA

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。

1月前
85
点赞
评论

探秘Transformer系列之（26）--- KV Cache优化之 PD分离or合并

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。

1月前
139
点赞
评论

探秘Transformer系列之（25）--- KV Cache优化之处理长文本序列

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。

1月前
80
点赞
评论

个人成就

优秀创作者

文章被点赞 557

文章被阅读 318,657

掘力值 10,929

加入于

2020-10-22