亚马逊ICML 2023论文技术速览

51 阅读1分钟

自适应神经计算

通过动态调整神经网络计算量适配输入特征,该技术被应用于流式语音识别场景:

  • 《流式神经转换器的自适应非因果注意力机制》提出基于输入复杂度动态控制lookahead窗口的Transformer变体

多臂老虎机问题

解决探索-利用困境的新算法:

  • 《延迟反馈下的对抗性MDP策略优化》改进延迟bandit反馈的遗憾界
  • 《组合动作线性上下文激励探索》提出新的探索奖励机制
  • 扩散模型驱动的Thompson采样框架实现更高效探索

差分隐私

大规模模型隐私保护技术突破:

  • 《低成本大模型差分隐私优化》通过梯度裁剪重构实现90%通信开销降低
  • 基于局部敏感哈希的快速核密度估计方法提升隐私统计效率

分布偏移

提出首个支持标签边际分布偏移的基准测试集RLSbench,突破传统域适应假设限制

可解释AI

《高维正则化模型的代表点选择》开发基于影响函数的训练样本归因方法

超图神经网络

从超图能量函数推导出新型神经网络架构,解决多元关系建模问题

超参数优化

采用保形分位数回归替代高斯过程,提升贝叶斯优化样本效率

(完整技术细节请参阅原文论文)