dhnl

旋转式位置编码（RoPE）最早是论文[1]提出的一种能够将相对位置信息依赖集成到 self-attention 中并提升 transformer 架构性能的位置编码方式。而...

facebook 源码 https://github.com/facebookresearch/llama/blob/main/llama/model.py transfo...

上一节我们把LLaMA 2的生成过程以及封装的过程的代码简单介绍了下。还差LLaMA 2的模型部分没有介绍。这一节我们就来介绍下LLaMA的Transformer结构...

Trie 树是N 叉树，其一个重要性质是左节点小于根节点的值，右节点都大于根节点的值，如果处理浮点数的话，就可能导致整个 Trie 树巨长无比，节点可读性也非常差...