Yann LeCun:赋予机器 “常识” ,重新设计神经网络将是 AI 研究重点

163 阅读9分钟

【新智元导读】 Yann LeCun 近日在采访中确认 Facebook 正在自研 AI 芯片,追求更高能效,以支持其 AI 应用。Facebook 也在寻找新的神经网络架构,大力投入于 “自我监督” 系统,致力于赋予机器 “常识”。

人工智能研究的进展将与硬件创新密切相关。

今天,在 2019 国际固态电路研讨会 (ISSCC) 的主旨演讲中,Facebook 首席 AI 科学家 Yann LeCun 阐述了深度学习研究的进展将如何影响未来的硬件架构。他的论文题为《深度学习硬件:过去、现在和未来》(Deep Learning Hardware: Past, Present, and Future)。

并且,LeCun 公开确认 Facebook 正在自研 AI 芯片,这是 Facebook 首次发表官方评论,证实了其在芯片领域的雄心。

LeCun 表示,对 DL 专用硬件的需求会不断增加。动态网络、关联存储器结构以及稀疏激活等新的体系结构概念将影响未来需求的硬件体系结构类型。

“这可能要求我们重新发明电路中运算的方式,”LeCun 说。今天的计算机芯片通常没有针对深度学习进行优化,即使使用不太精确的计算,深度学习也可以有效。“因此,研究人员正在尝试设计一种新的方式来更有效地表示数字。”

推进 AI 领域的一个关键因素,尤其是在深度学习方面,将是确保有能够支持它的硬件

这是 LeCun 演讲中的一个重要议题,他在会上讨论了一份新的研究报告,概述了未来 5 到 10 年芯片厂商和研究人员需要关注的关键趋势。

他说:“无论他们建造的是什么,都将影响未来十年 AI 的发展。”

在会议开始之前,LeCun 与 Business Insider 就 AI 领域的发展方向、它对我们日常生活中使用的设备的意义、人工智能的现状以及未来面临的最大挑战进行了讨论。以下是采访的要点。

为了改善 AI 性能,机器必须在能耗方面做得更好

想象有这样一个真空吸尘器,它不仅聪明到可以为你的起居室绘制地图,以便不会重复清洁同一个地方,它还能在撞到障碍物之前检测到它们。

或者想象有这样一台智能割草机,它可以在修剪草坪时智能地避开花坛和树枝。

LeCun 说,这样的小设备要想实现、并流行起来,除了 Facebook、Alphabet 等正在投资的技术,如增强现实和自动驾驶技术,还需要有更节能的硬件

更节能的硬件不仅对这类技术的蓬勃发展是必要的,而且对改善 Facebook 等公司实时识别照片和视频内容的方式也是必要的。LeCun 说,要理解视频中发生的事情,将活动转录成文本,然后将文本翻译成另一种语言,以便世界各地的人们能够实时地理解,需要 “巨大” 的计算能力。

Facebook 希望使用 AI 来帮助审核内容

短期内 AI 将继续在智能手机中得到改进

LeCun 认为,未来 3 年内,大多数智能手机将通过专用处理器将 AI 直接内置到硬件中,这将使实时语音翻译等功能在手机上更为普遍。

对于那些近年来一直密切关注智能手机行业的人来说,这可能并不意外,因为苹果、谷歌、华为等公司已经将 AI 更紧密地整合到自己的移动设备中, LeCun 表示,这将使 “各种新应用” 成为可能。

赋予机器 “常识” 将是未来 10 年 AI 研究的一大重点

虽然人类通常通过一般观察 (general observations) 来了解世界,但计算机通常被训练来执行特定的任务。举例来说,如果你想设计一种能够检测照片中的猫的算法,你必须帮助它了解猫的样子,方法是提供给它一个巨大的数据集,其中可能包括数千张标记有猫的照片。

但 LeCun 认为,未来十年,推动 AI 前进的圣杯在于完善一种称为自监督学习 (self-supervised learning) 的技术。换句话说,使机器能够通过数据了解世界是如何运转的,而不仅仅是学习如何解决一个特定的问题 —— 比如识别猫。

LeCun 表示:“如果我们真的训练 (算法) 做到这一点,那么机器捕捉上下文并做出更复杂决策的能力将会取得重大进展。” 他补充说,这样的技术目前只对文本有效,对视频和图像仍然无效。

这样的突破可能是 Facebook 等公司需要的,用以改进其平台上的内容审核,尽管现在还不知道这样的解决方案何时会出现。LeCun 说:“这不是一蹴而就的事情。”

Facebook 加入 AI 芯片竞赛,自研 ASIC

Facebook 认识到,要想在 AI 领域实现下一个突破,它需要大大提高计算速度。目前,Facebook 已经加入与亚马逊和谷歌的竞争,开发自己的 AI 芯片。

LeCun 在接受英国 《金融时报》 采访时表示,Facebook 希望与多家芯片公司合作开发新的芯片设计 —— 最近宣布了与英特尔合作开展项目 —— 但他也表示,Facebook 正在开发自己的定制 “ASIC” 芯片,以支持其 AI 程序。

LeCun 说:“众所周知,Facebook 会在需要时构建自己的硬件 —— 例如,构建自己的 ASIC。遇到任何障碍,我们都将全力以赴。” 这是 Facebook 首次发表官方评论,证实了其在芯片领域的雄心。

谈到公司在芯片方面取得突破的机会时,LeCun 补充说:“底层肯定有很大的空间。

Facebook 自研芯片的决定,对英伟达也构成了又一个长期挑战。英伟达是目前用于数据中心 AI 的图形处理器的主要生产商。由于大型数据中心客户离开,英伟达正面临短期困境。

现在,更大的需求是更专业的 AI 芯片,其设计旨在以闪电般的速度、更低的功耗执行单一任务,而不是过去的通用处理器。这种需求不仅吸引了谷歌、亚马逊、苹果等公司的投资浪潮,也吸引了几十家初创企业。

对新的芯片设计和硬件架构的关注表明,需要在基础计算方面取得根本性突破,以防止今天的 AI 成为一个死胡同。

LeCun 表示,纵观 AI 的历史,在研究人员提出让该领域得到突破的洞见之前,它往往已经在硬件方面取得了很大的进步。

“在相当长的一段时间里,人们没有想到相当明显的想法,” 他说,这阻碍了人工智能的发展。其中就包括反向传播,这是当今深度学习系统的一项核心技术,算法可以通过反向传播来减少错误。 LeCun 表示,这显然是对早期研究的延伸,但直到上世纪 90 年代计算机硬件发展后,这一技术才得到广泛应用。

Facebook 过去也曾设计过其他类型的硬件,例如,在将数据中心设备开源供他人使用之前,为这些设备提出一些新想法。 LeCun 表示,同样的方法也将适用于芯片设计。他补充说:“我们的目标是将其送走。”

重新设计神经网络,模仿更多人类智能

Facebook 还将研究重点放在神经网络的新设计上。神经网络是深度学习系统的核心,是图像和语言识别等领域最近进展的基础。

30 年前,LeCun 在 AT&T 贝尔实验室研究 AI 芯片时,构建了第一个 “卷积” 神经网络,这是目前深度学习系统常用的神经网络。

LeCun 表示,Facebook 正致力于 “一切可以降低功耗 (并) 改善延迟的事情”,以加快处理速度。但他补充说,实时监控视频带来的巨大需求,将需要新的神经网络设计。

Facebook 也在寻找新的神经网络架构,以模仿人类智能的更多方面,并使系统更自然地进行交互

LeCun 说,Facebook 正大力投入于 “自我监督” 系统,这种系统能够对周围的世界做出更广泛的预测,而不仅仅是得出直接与它们所接受的数据相关的结论。这可以使它们对世界产生同样广泛的理解,从而使人类能够应对新的情况。

“就新用途而言,Facebook 感兴趣的一件事是开发智能数字助理 —— 具有一定程度的常识的智能助理,” 他说。“它们拥有背景知识,你可以和它们就任何话题进行讨论。”

向计算机灌输常识的想法还处于非常早期的阶段,LeCun 表示,这种更深层次的智能 “不会很快发生”。

他说:“能够在不确定性下进行预测是当今的主要挑战之一。”

Facebook 正在参与一项更广泛的研究努力,旨在增强当今的神经网络。在 ISSCC 研讨会上,LeCun 概述了这项工作。

其中,包括根据通过它们的数据调整其设计的网络,使其在面对现实世界的变化时更加灵活。另一种研究方法是研究只 “激活” 解决特定问题所需神经元的网络,这种方法与人类大脑的运作方式类似,可以大大降低功耗。

研究工作还包括将计算机存储添加到神经网络中,这样当与人 “交谈” 时,神经网络就能记住更多的信息,并形成更强的语境感。

神经网络的进步可能会对驱动它们的芯片的设计产生连锁反应,这可能会为制造当今领先 AI 芯片的公司带来更多竞争。

LeCun 表示,谷歌的 TPU—— 最强大的机器学习数据中心芯片 ——“仍相当通用”。但 “它们做出的假设不一定适用于未来的神经网络架构。”

另一方面,芯片设计的灵活性也有其他缺点。例如,微软计划在其所有数据中心服务器上安装一种不同类型的芯片,即 FPGA (现场可编程门阵列)。这些芯片在使用方式上更加灵活,但在处理大量数据方面效率较低,这使它们与专为特定任务而优化的芯片相比处于劣势。

参考链接:

www.businessinsider.com/facebook-ar…

Subscribe to read | Financial Times


新智元・AI_era

每日推送 AI 领域前沿学术解读、AI 产业最新资讯

戳右上角【+ 关注】↗↗

喜欢请分享、点赞吧