ICLR 2025 作为机器学习领域的顶级会议，收录了众多具有突破性的研究成果。以下是根据公开信息整理的部分最佳论文及高影响力研究，涵盖基础理论、模型优化、多模态交互、安全对齐等关键方向：
一、基础理论与高效学习
-
Data Shapley in One Training Run
- 作者：Jiachen T. Wang 等
- 亮点：提出“In-Run Data Shapley”方法，首次实现大规模模型训练中数据贡献的实时评估，显著降低计算成本。该研究被列为 杰出论文候选（Outstanding Paper Runner-Up），为AI版权和数据治理提供了理论依据。
-
Adam-Mini: Use Fewer Learning Rates to Gain More
- 作者：Naganandy 团队
- 亮点：通过动态调整学习率策略，在不增加计算资源的情况下提升模型收敛速度和泛化能力，为资源受限场景下的训练提供新范式。
-
Optimal Brain Apoptosis (OBA)
- 作者：Nanguoyu 团队
- 亮点：提出基于 Hessian 矩阵分解的二阶剪枝方法，实现神经网络的高效稀疏化，在模型压缩领域达到 SOTA 性能。
二、多模态与具身智能
-
CyBench: A Framework for Evaluating Cyber Security Capabilities and Risks of Language Models
- 作者：Aaron617 团队
- 亮点：首个针对语言模型网络安全能力的评估框架，通过模拟对抗性攻击验证模型鲁棒性，评分高达 8.00（ICLR 2025 最高评分之一）。
-
Draw-and-Understand: Integrating Visual Prompting into Multimodal LLMs
- 作者：Riken AIP 团队
- 亮点：提出支持自由形式视觉提示（如点、框、手绘形状）的多模态模型框架，显著提升图像交互的精细度和指令理解能力。
-
LS-Imagine: Open-World Reinforcement Learning over Long Short-Term Imagination
- 作者：RLE-Foundation 团队
- 亮点：通过构建长短期世界模型，实现具身智能体在开放环境中的长期规划，在 MineDojo 基准测试中超越现有方法。
三、大模型优化与对齐
-
Iterative Nash Policy Optimization: Aligning LLMs with General Preferences via No-Regret Learning
- 作者：ICLR 口头报告团队
- 亮点：从博弈论视角提出无遗憾学习框架，解决传统 RLHF 中偏好建模不充分的问题，在 Alpaca Eval 2.0 中实现 42.6% 的胜率提升。
-
AutoDAN-Turbo: Automatically Discovering Jailbreak Strategies for Red-Teaming Large Language Models
- 作者：ArXiv 高引论文团队
- 亮点：通过自动生成对抗性提示，突破对齐模型的安全边界，在 GPT-4-1106-turbo 上实现 88.5% 的攻击成功率，为模型安全评估提供新工具。
-
HARM-AUG: Effective Data Augmentation for Knowledge Distillation of Safety Guard Models
- 作者：ArXiv 论文团队
- 亮点：利用 LLM 生成对抗性指令，将 4.35 亿参数的安全模型性能提升至与 70 亿参数模型相当，同时降低 75% 计算成本。
四、工具与基准
-
TABM: Advancing Tabular Deep Learning with Parameter-Efficient Ensembling
- 作者：Yandex Research 团队
- 亮点：提出参数高效的集成学习框架，在 TabRed 等工业级表格数据集上显著优于传统方法，被用于 Kaggle 竞赛获奖方案。
-
M4: A Learned Flow-Level Network Simulator
- 作者：MIT 团队
- 亮点：基于深度学习的网络流量模拟器，可精确预测大规模网络中的拥塞和延迟，为网络优化提供新范式。
-
Model-agnostic and Dataset-agnostic Representation Learning for Motion Prediction
- 作者：Aaron617 团队
- 亮点：提出通用运动预测框架，无需依赖特定数据集或模型结构，在自动驾驶场景中实现鲁棒的多模态轨迹预测。
五、其他高影响力研究
-
Knowing Your Target: Target-Aware Transformer for Spatio-Temporal Video Grounding
通过融合文本语义和视觉属性，提升视频时空定位的准确性，在 HCS-TVG 等基准中刷新 SOTA。 -
Faster Cascades via Speculative Decoding
结合级联模型和推测解码，在保持模型质量的同时实现 2 倍以上 的推理加速，适用于实时交互场景。 -
Combatting Dimensional Collapse in LLM Pre-Training Data via Submodular File Selection
提出子模优化方法避免预训练数据特征坍缩，在 SlimPA-Jama 数据集上节省 98.5% 数据量的同时保持性能。
总结
ICLR 2025 的最佳论文体现了三大趋势：基础理论与应用的深度结合（如 Data Shapley）、多模态与具身智能的突破（如 LS-Imagine）、大模型安全与对齐的系统性探索（如 AutoDAN-Turbo）。这些研究不仅推动了技术边界，也为 AI 的可持续发展和伦理落地提供了关键支撑。完整名单可通过 ICLR 2025 官网 或 OpenReview 页面 查阅。
