antonio326

论文总结：YaRN——大语言模型上下文窗口的高效扩展方法 本文（arXiv:2309.00071）针对基于旋转位置编码（RoPE） 的Transformer大语言模型（如L...

一、ROPE远程衰减的理想状态：平滑衰减与精准外推 在理想状态下，PE应满足以下核心特性： 单调平滑的衰减曲线 注意力分数随相对距离的增加而单调下降，避免周期性震荡...

最近再次推到了ROPE，又产生了很多疑惑，故而做如下笔记记录。苏神科学空间，原文：https://spaces.ac.cn/archives/8265...