【新智元导读】 NeurIPS 2019 的录取通知已发,已经有投稿人在社交媒体晒结果了。有的人高分没中;有的人一次 4 连。有的人担心毕业,有的人庆贺成功。其中,田渊栋团队也是轻松拿下 4 连。本届 NeurIPS,你投论文了吗?你的论文被接受了吗?
NeurIPS 2019 可能是历史上最引人瞩目的一届盛会了!创纪录的投稿量 6809,比去年增加了 40%。当然,5315 的拒稿数量,同样也超过了去年的投稿量。
最近陆续的有人收到了录取结果通知。
录取成功的呢,自然各种晒结果、晒 celerating。
有的人要么连着 4 年不中,要么直接一中就是 4 篇!
本届 NeurIPS 最引人注目的赢家恐怕就是田渊栋博士了,也是一次就中了 4 篇。
田渊栋从小到大都是标标准准的 “别人家的孩子”,从上海交通大学获得计算机本科和硕士学位后,田渊栋来到卡耐基梅隆大学机器人研究所攻读博士学位,毕业后加入了谷歌无人驾驶汽车项目组,后加入 Facebook 人工智能研究院,担任研究经理。被录取的论文分别是:
论文 1:
《Learning to Perform Local Rewriting for Combinatorial Optimization》
摘要:用于硬组合优化的基于搜索的方法通常由启发式方法指导。在各种条件和情况下调整启发式方法通常非常耗时。在本文中,我们建议 NeuRewriter 学习一个策略来选择启发式并重写当前解决方案的本地组件,以迭代地改进它直到收敛。该政策将因素归结为区域拣选和规则拣选组件,每个组件由在强化学习中使用 actor-critic 方法训练的神经网络参数化。NeuRewriter 捕捉了组合问题的一般结构,并在三个多功能任务中表现地很强大:表达式简化、在线作业调度和车辆路径问题。 NeuRewriter 优于 Z3 中的表达式简化组件;优于在线作业调度中的 DeepRM 和 Google OR 工具;并且在车辆路径问题方面优于最近的神经基线和 Google OR 工具。
下载:
论文 2:
《One ticket to win them all: generalizing lottery ticket initializations across datasets and optimizers》
摘要:彩票初始化的成功(Frankle 和 Carbin,2019)表明只要网络被适当地初始化,就可以训练小型的稀疏网络。不幸的是,找到这些 “中奖票” 初始化在计算上是昂贵的。一种可能的解决方案是在各种数据集和优化器中重复使用相同的中奖票。然而,获奖票证初始化的一般性仍不清楚。在这里,我们尝试通过为一个训练配置(优化器和数据集)生成获胜票并在另一个配置上评估它们的性能来回答这个问题。也许令人惊讶的是,我们发现,在自然图像领域内,获胜票证初始化在各种数据集中得到推广,包括 Fashion MNIST,SVHN,CIFAR-10/100,ImageNet 和 Places365,通常在同一数据集上可以获得接近生成中奖票的性能。此外,使用较大数据集生成的获奖票证一致地转移,比使用较小数据集生成的票证更好。我们还发现,中奖票证初始化可以在具有高性能的优化器中进行推广。这些结果表明,获胜票证初始化包含更广泛地通用于神经网络的归纳偏差,这改善了许多设置的训练,并为开发更好的初始化方法提供了希望。
下载:
论文 3:
《Hierarchical Decision Making by Generating and Following Natural Language Instructions》
摘要:我们探索使用潜在的自然语言指令作为复杂行为的表达和组合表示,用于分层决策。我们的代理不是直接选择微动作,而是首先用自然语言生成潜在计划,然后由单独的模型执行。我们介绍了一个具有挑战性的实时战略游戏环境,其中大量单位的行动必须在长时间范围内协调。我们从人类游戏中收集了 76000 对指令和执行的数据集,并训练 instructor 和执行者模型。 实验表明,使用自然语言作为潜变量的模型明显优于直接模仿人类行为的模型。语言的组成结构证明了其对行动表征的有效性至关重要。我们还发布了代码,模型和数据。
下载:
论文 4:
《A Neural-based Program Decompiler》
摘要: 二进制可执行文件的逆向工程是计算机安全域中的关键问题。一方面,恶意方可以从软件产品中恢复可解释的源代码以获得商业优势。另一方面,二进制反编译可用于代码漏洞分析和恶意软件检测。但是,有效的二进制反编译具有挑战性。传统的反编译器具有以下主要限制:(i)它们仅适用于特定的源 - 目标语言对,因此导致新语言任务的不期望的开发成本;(ii)它们的输出高级代码不能有效地保留输入二进制的正确功能;(iii)他们的输出程序没有捕获输入的语义,反向程序很难解释。为了解决上述问题,我们提出了 Coda,这是第一个基于端到端神经的代码反编译框架。 Coda 将反编译任务分解为两个关键阶段:首先,Coda 使用指令类型感知编码器和树解码器,用于在代码草图生成阶段期间通过注意馈送生成抽象语法树(AST)。其次,Coda 然后使用由整体神经误差预测器引导的迭代纠错机更新代码草图。通过找到一个好的近似候选者,然后将其修复为完美,与基线方法相比,Coda 实现了卓越的性能。我们通过各种基准测试的广泛实验来评估 Coda 的性能。评估结果表明,Coda 在看不见的二进制样本上实现了平均 82%的程序恢复精度,其中最先进的反编译器产生 0%的准确度。此外,Coda 优于序列到序列模型,并且具有 70%的程序精度。
下载:
被录取的自然欢天喜地。而没被录取的呢,就各有各的郁闷了。有的担心毕业怎么办!
有人质疑我作为评审都拿到最高分了,怎么最终自己还是没通过?
有人中奖和拒收都有,也表达了自己的不爽。
有人虽然被拒了,但还是恭喜其他中了的选手。
其实本届 NeurIPS 由于投稿过多,截稿期服务器都蹭被挤爆。其中不乏滥竽充数者,大会最初收到的论文摘要提交量为 9185 篇,但只有 6947 篇论文完成全文提交。
大会规则也有所变化,所有投稿论文都要回答关于研究可复现的问题,并且倡议论文和实现代码一起提交,谷歌研究员 hardmaru 评论称,虽然不强制执行,但也给了评审依据,来快速拒绝那些不承诺披露代码的论文。
同时大会严禁一稿多投。有 19 篇论文就因为顶风作案被毙了。
你投递论文了吗?有没有被选中?欢迎留言分享你的经历!