ICML2025有哪些最佳论文

607 阅读5分钟

根据ICML 2025官方公布的信息,本届会议共评选出8篇最佳论文,包括6篇杰出论文奖(Outstanding Paper Award)和2篇杰出立场论文奖(Outstanding Position Paper Award)。以下是部分具有代表性的获奖论文及研究亮点:

1.  《Adaptive Token Decoding for Masked Diffusion Models》

  • 作者:南京大学团队(第一作者为博士生李浩然)

  • 核心贡献

    • 首次揭示了掩码扩散模型(MDMs)在文本生成中的隐藏数值问题,发现32位浮点数计算会导致“降温效应”,而64位计算可显著提升生成多样性。
    • 提出自适应Token解码策略,在数独等逻辑谜题中,将预训练MDMs的解题准确率从不足7%提升至约90%,超越参数量7倍的自回归模型。
    • 理论证明MDMs与简单掩码模型的等价性,为简化模型设计提供依据。

2.  《CollabLLM: Collaborative Learning for Human-LLM Interaction》

  • 作者:斯坦福大学联合OpenAI

  • 核心贡献

    • 提出一种增强人类与大语言模型协作的训练框架,通过强化学习优化交互奖励机制,使模型能主动挖掘用户意图并提供建议。
    • 在真实用户研究中,CollabLLM提升17.6%的满意度,减少10.4%的交互时间,任务表现较基线提升18.5%。
    • 为设计更具交互性的AI系统提供了可扩展的方法论。

3.  《PENCIL: Alternating Reasoning-Erasure for Ultra-Long Sequence Generation》

  • 作者:清华大学计算机系

  • 核心贡献

    • 提出交替“推理-擦除”的深度思考范式,通过动态压缩中间结果,将10万Token的上下文需求压缩至几千Token,显著降低计算开销。
    • 在NP难问题(如3-SAT)和PSPACE难问题(如QBF)上,保持≥99%的高准确率,而传统思维链(CoT)方法在问题规模增大时准确率大幅下降。
    • 理论证明PENCIL在最优时间和空间复杂度下可模拟任意图灵机运算,实现图灵完备性。

4.  《MODA: Modular Duplex Attention for Multimodal Perception》

  • 作者:快手联合南开大学

  • 核心贡献

    • 提出模块化双工注意力机制,通过Gram矩阵对齐跨模态语义空间,矫正多模态注意力失调问题,在讽刺检测等细粒度任务中准确率提升至97%。
    • 在六大类21个基准测试中,MODA的情感理解性能显著优于现有模型,尤其在多模态医学问答中表现突出。
    • 开源了首个包含115K样本的细粒度情感数据集MER-Caption,推动多模态情感理解研究。

5.  《SENZ: Retrieval-Augmented Zero-Shot Enzyme Design》

  • 作者:分子之心联合香港理工大学

  • 核心贡献

    • 首创基于底物结构相似性的零样本酶设计方法,无需直接催化数据即可生成高效降解酶,在甲基膦酸盐降解任务中性能超越天然酶和传统设计方法。
    • 构建全球首个酶-底物反应图谱,覆盖17个医学专科和11个身体系统的催化规律,为生物制造提供通用工具。
    • 实验显示,SENZ生成的酶在AiZynthFinder回溯分析中的合成成功率达62.2%,显著高于基线。

6.  《TokenSwift: Lossless Acceleration for 100K Token Generation》

  • 作者:字节跳动BIGAI团队

  • 核心贡献

    • 提出多Token并行草拟与树结构验证框架,在保持输出一致性的前提下,将LLaMA3.1-8B的100K Token生成时间从5小时缩短至1.5小时,加速比达3倍。
    • 动态KV缓存管理技术有效缓解内存膨胀问题,Distinct-n指标显示生成多样性提升40%。
    • 已集成至抖音推荐系统,支撑日均160TB数据的实时生成任务。

7.  《All-atom Diffusion Transformers for Molecule and Material Design》

  • 作者:Meta FAIR联合剑桥大学

  • 核心贡献

    • 首次实现周期性材料与非周期性分子的统一生成建模,在MP20(晶体)和QM9(分子)数据集上,ADiT的生成效率较传统等变扩散模型提升7.5倍。
    • 引入Transformer潜在扩散机制,参数扩展至5亿时性能线性提升,为构建通用生成化学基础模型奠定基础。
    • 在GEOM-DRUGS数据集上,ADiT的有效性和PoseBusters指标全面领先,支撑新型药物分子设计。

8.  《Flow Matching: A Unifying Framework for Generative Models》

  • 作者:MIT团队

  • 核心贡献

    • 提出流匹配(Flow Matching)技术,将扩散模型、流模型和能量模型统一到同一框架,实现跨模态生成的无缝切换。
    • 在图像、蛋白质序列等任务中,流匹配模型的样本多样性和计算效率均超越现有方法,尤其在长序列生成中表现突出。
    • 理论证明流匹配框架的普适性,为生成模型的理论研究提供新视角。

补充说明

  • 会议背景:ICML 2025于7月13-19日在温哥华举行,共收到12107篇投稿,录用率26.9%,最终评选出8篇最佳论文。

  • 趋势观察:本届论文集中体现了三大特点:

    1. 理论与实践深度融合:如Batch Normalization(2015年论文)获时间检验奖,印证其长期影响力;
    2. 多模态与交互性突破:MODA、CollabLLM等工作推动AI从单一任务向人机协作演进;
    3. 复杂系统建模:PENCIL、ADiT等方法在超大规模问题上展现出高效性。
  • 获取全文:最佳论文的完整版本及官方解读已在ICML 2025官网发布,建议关注会议后续的Workshop和研讨会获取最新动态。