河畔草lxr

本文主要介绍 RoPE 外推的缩放法则，相关的背景、理论、验证、思考。与以往的外推研究不同，本文并没有聚焦一个具体的外推方案，而是给出了一套改进RoPE外推能力的框架，及其对应的数学解释、实验验证。