罗西的思考

架构，设计 @ 公众号 : 罗西的思考

赞

29

|

搜索文章

5天前

探秘Transformer系列之（34）--- 量化基础

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

0

评论

5天前

探秘Transformer系列之（27）--- MQA & GQA

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

0

评论

13天前

探秘 Transformer系列之（33）--- DeepSeek MTP

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

0

评论

20天前

探秘Transformer系列之（32）--- Lookahead Decoding

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

0

评论

1月前

探秘Transformer系列之（31）--- Medusa

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

1

评论

1月前

探秘Transformer系列之（30）--- 投机解码

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

0

评论

1月前

探秘Transformer系列之（29）--- DeepSeek MoE

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

2

评论

1月前

探秘Transformer系列之（28）--- DeepSeek MLA

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

0

评论

关注了

1月前

探秘Transformer系列之（26）--- KV Cache优化之 PD分离or合并

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

0

评论

1月前

探秘Transformer系列之（25）--- KV Cache优化之处理长文本序列

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

0

评论

1月前

探秘Transformer系列之（24）--- KV Cache优化

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

0

评论

1月前

[2W字长文] 探秘Transformer系列之（23）--- 长度外推

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

1

评论

1月前

探秘Transformer系列之（22）--- LoRA

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

0

评论

1月前

探秘Transformer系列之（21）--- MoE

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

0

评论

2月前

探秘Transformer系列之（20）--- KV Cache

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

1

评论

2月前

探秘Transformer系列之（19）----FlashAttention V2 及升级版本

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

0

评论

2月前

探秘Transformer系列之（18）--- FlashAttention

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

1

评论

2月前

探秘Transformer系列之（17）--- RoPE

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

1

评论

2月前

探秘Transformer系列之（16）--- 资源占用

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

1

评论

个人成就

优秀创作者

文章被点赞 558

文章被阅读 319,337

掘力值 10,933

加入于

2020-10-22