机器学习
某机构在ICML 2023会议论文速览
在一系列主题中，某机构的研究融合了理论与实践的探索。
会议 ICML 2023
在今年的国际机器学习大会（ICML）上，某机构的研究人员发表了多篇关于赌博机问题和差分隐私的论文，这两个主题一直备受关注。同时，他们也探索了其他各种主题，将理论分析与实际应用相结合。
自适应神经计算
自适应神经计算意味着根据输入动态调整神经模型的计算量。在ICML上，研究人员将此方法应用于自动语音识别。
- 《在关键时刻前瞻：用于流式神经转换器的自适应非因果Transformer》 Grant Strimel, Yi Xie, Brian King, Martin Radfar, Ariya Rastrow, Athanasios Mouchtaris
赌博机问题
赌博机问题（其名称源于老虎机）涉及探索-利用的困境：与环境交互的智能体必须同时最大化某种奖励并学习如何最大化该奖励。这类问题常见于强化学习中。
- 《延迟自适应策略优化及针对具有延迟赌博机反馈的对抗性MDP的改进遗憾》 Tal Lancewick, Aviv Rosenberg, Dmitry Sotnikov
- 《在线性上下文和组合动作中激励探索》 Mark Sellke
- 《从赌博机反馈中进行多任务离线策略学习》 Joey Hong, Branislav Kveton, Manzil Zaheer, Sumeet Katariya, Mohammad Ghavamzadeh
- 《基于扩散生成先验的汤普森采样》 Yu-Guan Hsieh, Shiva Kasiviswanathan, Branislav Kveton, Patrick Bloebaum
差分隐私
差分隐私是一种统计隐私保证，旨在最小化攻击者能够确定给定数据项是否包含在特定数据集中的概率。
- 《以低成本对大型模型进行差分隐私优化》 Zhiqi Bu, Yu-Xiang Wang, Sheng Zha, George Karypis
- 《通过局部敏感量化实现快速私有核密度估计》 Tal Wagner, Yonatan Naamad, Nina Mishra
分布偏移
分布偏移是指现实世界数据可能与训练机器学习模型所用的数据集具有不同分布的问题。在ICML上，研究人员提出了一个新的数据集，有助于解决这个问题。
- 《RLSbench：在宽松标签偏移下的领域自适应》 Saurabh Garg, Nick Erickson, James Sharpnack, Alex Smola, Sivaraman Balakrishnan, Zachary Lipton
集成方法
集成方法将多个不同模型的输出组合起来以得出最终结论。在ICML上，研究人员针对堆叠泛化集成（其中高层模型组合低层模型的输出）证明了新的理论结果。
- 《学习集成策略的理论保证及其在时间序列预测中的应用》 Hilaf Hasson, Danielle Maddix Robinson, Bernie Wang, Youngsuk Park, Gaurav Gupta
可解释人工智能
神经网络的训练方法意味着即使是其开发者也可能不知道它们正在执行什么计算。在ICML上，研究人员探索了一种称为基于样本解释的可解释人工智能方法，该方法旨在识别对给定模型输出贡献最大的训练样本。
- 《用于解释正则化高维模型的代表点选择》 Che-Ping Tsai, Jiong Zhang, Hsiang-Fu Yu, Jyun-Yu Jiang, Eli Chien, Cho-Jui Hsieh, Pradeep Ravikumar
极端多标签分类
极端多标签分类是在标签（分类类别）空间巨大的情况下对数据进行分类的问题。在ICML上，研究人员探索了利用边信息（如标签元数据或实例相关性信号）来提高分类器性能的方法。
- 《PINA：通过预测实例邻域聚合在极端多标签分类中利用边信息》 Eli Chien, Jiong Zhang, Cho-Jui Hsieh, Jyun-Yu Jiang, Wei-Cheng Chang, Olgica Milenkovic, Hsiang-Fu Yu
图神经网络
图神经网络生成图节点的向量表示，这些表示考虑了节点本身及其在图中的邻居信息。在ICML上，研究人员研究了更好地初始化此类网络的技术。
- 《论图神经网络的初始化》 Jiahang Li, Yakun Song, Xiang Song, David Paul Wipf
超图
超图是图结构的一种泛化：在普通图中，一条边恰好连接两个节点，而超图中的一条边可以连接多个节点。在ICML上，研究人员提出了一种构建超图神经网络的新方法。
- 《从超图能量函数到超图神经网络》 Yuxin Wang, Quan Gan, Xipeng Qiu, Xuanjing Huang, David Paul Wipf
超参数优化
超参数是神经网络模型的属性，如学习率、网络层数和宽度等，优化它们也是模型训练的标准步骤。在ICML上，研究人员提出使用分位数回归作为标准高斯过程的替代方法，用于在超参数优化过程中对函数进行建模。
- 《使用分位数回归优化超参数》 David Salinas, Jacek Golebiowski, Aaron Klein, Matthias Seeger, Cédric Archambeau
独立性检验
独立性检验是许多统计分析中的关键步骤，旨在确定两个变量是否独立。在ICML上，研究人员提出了一种独立性检验方法，该方法根据确定独立性的难易程度调整收集的样本数量。
- 《顺序核化独立性检验》 Sasha Podkopaev, Patrick Bloebaum, Shiva Kasiviswanathan, Aaditya Ramdas
模型选择
模型选择确定特定任务的模型架构和超参数设置，通常涉及从模型训练数据中分离出的验证集。在ICML上，研究人员提出在训练数据稀疏的情况下，使用合成数据进行验证。
- 《用于模型选择的合成数据》 Alon Shoshan, Nadav Bhonker, Igor Kviatkovsky, Matan Fintz, Gérard Medioni
物理模型
深度学习方法在科学计算领域显示出潜力，可用于预测偏微分方程的解。在ICML上，研究人员研究了在计算偏微分方程解时，将已知的物理约束（如遵守守恒定律）添加到机器学习模型的预测输出中的问题。
- 《学习能够遵守守恒定律的物理模型》 Derek Hansen, Danielle Maddix Robinson, Shima Alizadeh, Gaurav Gupta, Michael Mahoney
表格数据
近年来，将Transformer模型的强大能力扩展到表格数据是一个新兴的研究领域。在ICML上，研究人员展示了如何提高使用表格数据训练的模型的泛化能力。
- 《XTab：表格Transformer的跨表预训练》 Bingzhao Zhu, Xingjian Shi, Nick Erickson, Mu Li, George Karypis, Mahsa Shoaran
研究领域 机器学习
标签 赌博机问题、差分隐私、超参数优化、ICML
会议 ICML 2023FINISHED
