V一

本文介绍了大语言模型微调方式 LoRA 和 QLoRA 的原理和使用方式。并针对 LoRA 和 QLoRA 的一些具体使用细节做了介绍。

如何通过位置插值增加 transformer context 长度，使得 LLM 能够处理超长文本。