transformer

一、ROPE远程衰减的理想状态：平滑衰减与精准外推 在理想状态下，PE应满足以下核心特性： 单调平滑的衰减曲线 注意力分数随相对距离的增加而单调下降，避免周期性震荡