周钢铁斯基

赞

2

|

搜索文章

赞

文章( 2 ) 沸点( 0 )

大模型面试笔记——位置编码篇

1、为什么需要位置编码？ Transformer基于自注意力机制，无法直接理解元素顺序 2、绝对位置编码和相对位置编码的区别核心区别在与表征逻辑和适用场景： 1）绝对位置编码：给每个位置分配固定的位

周钢铁斯基
1天前
7
1
评论

大模型面试笔记——Attention篇

1、原始Seif-Attention有什么问题？ Self-Attention的时间和空间复杂度都是二次方 -->序列过长，算法速度会变慢，消耗很高的内存 2、Flash-Attention 动机：加

周钢铁斯基
1天前
9
1
评论

个人成就

文章被点赞 2

文章被阅读 20

加入于

2023-12-11