罗西的思考

架构，设计 @ 公众号 : 罗西的思考

赞

29

|

搜索文章

探秘Transformer系列之（21）--- MoE

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。

2天前
47
点赞
评论

探秘Transformer系列之（20）--- KV Cache

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。

3天前
29
点赞
评论

探秘Transformer系列之（19）----FlashAttention V2 及升级版本

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。

5天前
22
点赞
评论

探秘Transformer系列之（18）--- FlashAttention

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。

8天前
58
1
评论

探秘Transformer系列之（17）--- RoPE

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。

10天前
39
1
评论

探秘Transformer系列之（16）--- 资源占用

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。

12天前
68
1
评论

探秘Transformer系列之（15）--- 采样和输出

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。

15天前
53
点赞
评论

探秘Transformer系列之（14）--- 残差网络和归一化

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。

17天前
70
点赞
评论

探秘Transformer系列之（13）--- Feed-Forward Networks

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。

19天前
75
1
评论

探秘Transformer系列之（12）--- 多头自注意力

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。

22天前
50
1
评论

个人成就

优秀创作者

文章被点赞 552

文章被阅读 311,364

掘力值 10,575

加入于

2020-10-22