Google 在 ICLR 2017 上展示的机器学习研究成果

898 阅读4分钟

本周,第五届国际学习表征会议 (ICLR 2017) 在法国土伦召开,这是一个关注机器学习领域如何从数据中习得具有意义及有用表征的会议。ICLR 包含学习会议和专题讲座,邀请了嘉宾通过口头演讲和海报展示的形式分享有关深度学习、度量学习、核学习、组合模型、非线性结构化预测,以及非凸优化问题方面的最新研究成果。



站在神经网络深度学习领域浪潮之巅,Google 关注理论与应用,并致力于开发推动理解与普及的学习方法。作为 ICLR 2017 的白金级赞助商,Google 有超过 50 名研究者出席本次会议(大部分是 Google Brain 团队Google Research Europe 的成员)。除了参加组委会和在讲座上演讲之外,Google 研究者还通过展示论文及海报的方式为推动学术研究社区的建设做出了贡献,也从这个社区中收益良多。

如果您来到 ICLR 2017,我们希望您能在我们的展台前驻足,并与我们的研究者进行交流,探讨 Google 为数十亿人解决有趣的问题的项目和机会。下面列举了 Google 在 ICLR 2017 上展示的研究成果的详情(Google 员工以蓝色突出显示)。

区域主席:
George Dahl Slav Petrov Vikas Sindhwani

程序委员会主席:
Hugo Larochelle Tara Sainath

投稿论文演讲
《理解深度学习需要重新思考泛化》(Understanding Deep Learning Requires Rethinking Generalization)(最佳论文奖)
Chiyuan Zhang*、Samy BengioMoritz Hardt、Benjamin Recht* 和 Oriol Vinyals

《从私有训练数据实现深度学习的半监督知识转移》(Semi-Supervised Knowledge Transfer for Deep Learning from Private Training Data)(最佳论文奖)
Nicolas Papernot*、Martín Abadi、Úlfar Erlingsson、Ian Goodfellow 和 Kunal
Talwar

《Q-Prop:使用离策略 Critic 的有效策略梯度》(Q-Prop:Sample-Efficient Policy Gradient with An Off-Policy Critic)
Shixiang (Shane) Gu*、Timothy Lillicrap、Zoubin Ghahramani、Richard E.
Turner 和 Sergey Levine

《通过强化学习实现神经架构搜索》(Neural Architecture Search with Reinforcement Learning)
Barret Zoph 和 Quoc Le

海报展示
《大规模对抗性机器学习》(Adversarial Machine Learning at Scale)
Alexey Kurakin、Ian J. Goodfellow 和 Samy Bengio

《递归神经网络的容量和可训练性》(Capacity and Trainability in Recurrent Neural Networks)
Jasmine Collins、Jascha Sohl-Dickstein 和 David Sussillo

《通过探索不完美的奖励来改善策略梯度算法》(Improving Policy Gradient by Exploring Under-Appreciated Rewards)
Ofir Nachum、 Mohammad Norouzi 和 Dale Schuurmans

《超大规模神经网络:稀疏门控专家混合层》(Outrageously Large Neural Networks:The Sparsely-Gated Mixture-of-Experts Layer)
Noam Shazeer、Azalia Mirhoseini、Krzysztof Maziarz、Andy Davis、 Quoc Le、Geoffrey Hinton 和 Jeff Dean

《展开的生成式对抗网络》(Unrolled Generative Adversarial Networks)
Luke Metz、Ben Poole*、David Pfau、Jascha Sohl-Dickstein

《基于 Gumbel-Softmax 的分类重参数化》(Categorical Reparameterization with Gumbel-Softmax)
Eric Jang、Shixiang (Shane) Gu* 和 Ben Poole*

《分解运动与内容,实现自然视频序列预测》(Decomposing Motion and Content for Natural Video Sequence Prediction)
Ruben Villegas、Jimei Yang、Seunghoon Hong、Xunyu Lin 和 Honglak Lee

《Real NVP 密度估计》(Density Estimation Using Real NVP)
Laurent Dinh*、Jascha Sohl-Dickstein 和 Samy Bengio

《潜在序列分解》(Latent Sequence Decompositions)
William Chan*、Yu Zhang*、Quoc Le 和 Navdeep Jaitly*

《利用神经编程器学习自然语言界面》(Learning a Natural Language Interface with Neural Programmer)
Arvind Neelakantan*、Quoc V. Le、Martín Abadi、Andrew McCallum* 和 Dario
Amodei*

《深度信息传播》(Deep Information Propagation)
Samuel Schoenholz、Justin Gilmer、Surya Ganguli 和 Jascha Sohl-Dickstein

《深度学习中的身份问题》(Identity Matters in Deep Learning)
Moritz Hardt、Tengyu Ma

《丰富的艺术风格表征》(A Learned Representation For Artistic Style)
Vincent Dumoulin*、Jonathon Shlens 和 Manjunath Kudlur

《半监督文本分类的对抗性训练方法》(Adversarial Training Methods for Semi-Supervised Text Classification)
Takeru Miyato、Andrew M. Dai 和 Ian Goodfellow

《超网络》(HyperNetworks)
David Ha、Andrew Dai、 Quoc V. Le

《学习记忆罕见事件》(Learning to Remember Rare Events)
Lukasz KaiserOfir Nachum、Aurko Roy*  Samy Bengio

专题讲座摘要
《粒子价值函数》(Particle Value Functions)
Chris J. Maddison、Dieterich Lawson、 George Tucker、Nicolas Heess、Arnaud Doucet、Andriy Mnih 和 Yee Whye Teh

《通过强化学习实现神经组合优化》(Neural Combinatorial Optimization with Reinforcement Learning)
Irwan Bello、Hieu Pham、Quoc V. Le、 Mohammad Norouzi Samy Bengio

《短期与深度:草图设计和神经网络》(Short and Deep:Sketching and Neural Networks)
Amit Daniely、Nevena Lazic、Yoram Singer 和 Kunal Talwar

《解释直接反馈比对的学习动态》(Explaining the Learning Dynamics of Direct Feedback Alignment)
Justin Gilmer、Colin Raffel、Samuel S. Schoenholz、Maithra Raghu、 Jascha Sohl-Dickstein

《训练预期次采样机制》(Training a Subsampling Mechanism in Expectation)
Colin Raffel  Dieterich Lawson

《通过强化学习循环调整神经网络》(Tuning Recurrent Neural Networks with Reinforcement Learning)
Natasha Jaques*、Shixiang (Shane) Gu*、Richard E. Turner 和 Douglas Eck

《REBAR:离散隐变量模型低方差、无偏梯度估计》(REBAR:Low-Variance, Unbiased Gradient Estimates for Discrete Latent Variable Models)
George Tucker、Andriy Mnih、Chris J. Maddison 和 Jascha Sohl-Dickstein

《物质世界中的对抗样本》(Adversarial Examples in the Physical World)
Alexey Kurakin、Ian Goodfellow和 Samy Bengio

《通过对确信输出分布进行罚分来规范神经网络》Regularizing Neural Networks by Penalizing Confident Output Distributions)
Gabriel Pereyra、George Tucker、Jan Chorowski、Lukasz Kaiser 和 Geoffrey Hinton

《模仿学习的无监督感知奖励》(Unsupervised Perceptual Rewards for Imitation Learning)
Pierre Sermanet、Kelvin Xu 和 Sergey Levine

《通过强化学习改变测试时的模型行为》(Changing Model Behavior at Test-time Using Reinforcement Learning)
Augustus Odena、 Dieterich Lawson 和 Christopher Olah