罗西的思考

架构，设计 @ 公众号 : 罗西的思考

赞

29

|

搜索文章

2天前

MPK（Mirage Persistent Kernel）源码笔记（2）--- 多层结构化图模型

MPK（Mirage Persistent Kernel）源码笔记（2）--- 多层结构化图模型 0x00 概要 0x01 机制 1.1 当前问题 1.2 解决方案 0x0...

1

评论

5天前

MPK（Mirage Persistent Kernel）源码笔记（1）--- 基础原理

MPK（Mirage Persistent Kernel）源码笔记（1）--- 基础原理 0x00 概要 0.1 传统LLM推理框架的瓶颈 0.2 MPK的流程重构 0.3...

0

评论

9天前

[Agent] ACE（Agentic Context Engineering）和Dynamic Cheatsheet学习笔记

[Agent] ACE（Agentic Context Engineering）和Dynamic Cheatsheet学习笔记 [Agent] ACE（Agentic Co...

0

评论

4月前

探秘Transformer系列之（36）--- 大模型量化方案

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

0

评论

4月前

探秘Transformer系列之（35）--- 大模型量化基础

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

0

评论

5月前

探秘Transformer系列之（34）--- 量化基础

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

1

评论

5月前

探秘Transformer系列之（27）--- MQA & GQA

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

0

评论

5月前

探秘 Transformer系列之（33）--- DeepSeek MTP

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

0

评论

5月前

探秘Transformer系列之（32）--- Lookahead Decoding

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

0

评论

6月前

探秘Transformer系列之（31）--- Medusa

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

1

评论

6月前

探秘Transformer系列之（30）--- 投机解码

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

1

评论

6月前

探秘Transformer系列之（29）--- DeepSeek MoE

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

2

评论

6月前

探秘Transformer系列之（28）--- DeepSeek MLA

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

0

评论

关注了

6月前

探秘Transformer系列之（26）--- KV Cache优化之 PD分离or合并

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

0

评论

6月前

探秘Transformer系列之（25）--- KV Cache优化之处理长文本序列

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

0

评论

6月前

探秘Transformer系列之（24）--- KV Cache优化

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

0

评论

6月前

[2W字长文] 探秘Transformer系列之（23）--- 长度外推

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

1

评论

6月前

探秘Transformer系列之（22）--- LoRA

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

0

评论

7月前

探秘Transformer系列之（21）--- MoE

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者...

1

评论

个人成就

优秀创作者

文章被点赞 568

文章被阅读 344,498

掘力值 11,185

加入于

2020-10-22