由元始智能 Jiale Kang 开发的全新微调方法 MiSS 被 ICLR 2026 收录。
MiSS 微调方法，适合所有大模型，显著优于 LoRA 和其他 PEFT 方法。
关于 ICLR 会议
The International Conference on Learning Representations (ICLR) 是公认的深度学习领域国际顶级会议之一，关注有关深度学习各个方面的前沿研究，在人工智能、统计和数据科学领域以及机器视觉、语音识别、文本理解等重要应用领域中发布了众多极其有影响力的论文。ICLR 采取完全公开评审规则，任何对论文有兴趣的研究者都可以参与到关于论文评审意见的讨论中。
ICLR 2026 将于 2026 年 4 月 23 日至 27 日在巴西里约热内卢举行。
MiSS 论文简介
MiSS 论文提出了 MiSS（Matrix Shard Sharing）微调方法。该方法采用了一种高效的“分片共享”结构，将预训练权重矩阵分解为多个片段，并仅使用一个共享的可训练矩阵（初始化为零）通过复制机制来构建低秩更新，从而替代了 LoRA 需要同时优化两个耦合矩阵（ 和 ）的传统方式，将优化问题简化为针对单一矩阵的求解。
MiSS 解决了标准 LoRA 因双矩阵联合优化导致的收敛速度慢以及参数利用率低的问题，通过简化优化地形显著提升了训练初期的梯度范数。实验结果表明，MiSS 在自然语言理解和生成任务上的性能均优于 LoRA、DoRA 及 PiSSA 等主流变体，能够以更快的速度收敛，并在使用更少参数的情况下，达到了当前最佳的性能与效率平衡（Pareto Frontier）。
