为什么知识监督的深度学习很重要?

109 阅读6分钟

世界各地的研究人员正在进行迭代和实验,以释放人工智能(AI)在识别、解决复杂问题和提供准确结果方面的能力。与人脑开发的识别和观察不同,机器在很大程度上依赖输入的模型,以获得某些结果。然而,研究人员旨在让神经网络独立运作,无论是否有输入--使用图形。

随着莱昂哈德-欧拉在18世纪发明了图论,它已经成为数学家、物理学家、计算机专家和数据科学家分析的最有效工具之一。研究人员和数据科学家已经广泛使用 "知识图谱 "来组织互联网上的结构化知识。知识图谱是一个整合从多个来源提取的信息并将其送入神经网络进行处理的过程。

推断是研究人员认为人工智能可以被训练来想象未见的东西的另一种方式,结构化的输入被喂给任何神经网络。与机器学习不同,在机器学习中,人类使用数据训练任何给定模型的参数,深度学习中的神经网络可以使用结构化和非结构化的数据自我训练。

来源。来源:Medium.com

知识图谱的目的是什么?

与其他技术不同的是,知识图有定向标记的图--有明确定义的标签含义。这些图有节点、边和标签,任何东西都可以作为一个节点,例如一个物体、一个地方、一个人或一个公司等等。它是由边连接的两个结点之间的 "利益关系"。标签定义了节点之间关系的含义。例如,一个公司的 "员工 "是节点,他们各自的 "部门经理 "是边--这里的关系用标签 "同事 "来定义。

随着在机器/深度学习中对边缘网络的这种节点的部署,数据科学研究人员正在努力使神经网络独立,在执行任务。在使用了依靠链接对网页的真实性进行排名的PageRank之后,谷歌在2012年在其搜索机制中部署了知识图谱。根据Neo4j的说法,当使用图网络在网络上进行搜索操作时,查询的延迟与你想要穿越多少图成正比,而不是存储多少输入。

一个开源研究组织--Octavian,使用神经网络来执行 "知识图谱 "上的任务。虽然人们常说 深度学习在非结构化数据上表现良好,但Octavian所建模的超人的神经网络处理的是特定的结构化信息,神经架构的设计是为了适应他们工作良好的数据结构。

2018年, Octavian的一位数据科学工程师在伦敦互联数据会议上发表了一篇演讲,他将传统形式的深度学习与图形学习进行了比较。他为确立自己的主张而提出的问题是:"我们希望图上的机器学习从2万英尺的高度看是怎样的?"

由于神经网络需要训练来执行任何任务,他的发现指出,许多在图上使用的ML技术有一些基本的限制。虽然有些技术需要将图转换为表格-抛弃其结构,但其他技术对未见过的图不起作用。为了克服这些限制并在图上使用深度学习,Octavian的研究人员确定了某些 "图数据任务",这些任务需要 "像 回归、分类和嵌入这样的图原生实现。

关系性归纳偏见

来源。Slideshare/ Octavian/ Connected Data London

在这项关于在图上使用 深度学习的研究中,重点是那些与神经网络功能良好的数据结构。例如,图像是一种结构化的格式,因为它们是二维或三维的,其中相互靠近的像素比相互远离的像素更有关联。而序列有一个一维的结构,相邻的项目比相距较远的项目更相关。

来源。Slideshare/ Octavian

然而,图中的节点并不像图像和序列中那样有固定的关系--像素和序列的例子。为了在深度学习模型中达到最佳效果,Octavian声称,建立与图相匹配的神经网络模型是关键。为了确定使用图形的深度学习获得的结果的准确性,谷歌大脑与麻省理工学院和爱丁堡大学一起 发布了一篇关于 "关系归纳偏见 "的 论文。该论文介绍了一种通过图传播数据集的通用算法,并认为在图任务的选择上可以实现最先进的性能--通过使用神经网络学习六个函数来 "在图的结构中进行聚合和转换"。

组合泛化

谷歌大脑、麻省理工学院和爱丁堡大学提交的联合论文认为,"组合泛化"是人工智能实现类似人类能力的首要任务。该研究认为,结构化表示和计算是赋予人工智能像人脑那样的分析能力的关键。根据该论文,图网络概括并扩展了在图上操作的神经网络的各种方法--为操作结构化知识提供一个直接的界面,并产生 "结构化行为"。这项研究的参与者在图上使用了深度学习,以证明神经网络模型在与图一起工作时产生更准确的结果。

谷歌的知识图谱

上述研究中一个成熟的例子是谷歌。它使用 "知识图谱 "已有八年之久。谷歌的知识图谱于2012年5月16日推出,是为了增强搜索体验而发明的。利用这个图,谷歌改进了其生成搜索结果的路径。简单地说,当你搜索电影《蝙蝠侠:黑暗骑士》的名字时, 谷歌搜索会产生所有可能的结果,包括海报、视频、围板、广告和正在放映这部电影的电影院。这就是谷歌一直在使用的具有深度学习功能的知识图谱,以优化其搜索引擎,每天有数十亿用户到达这里。正是 谷歌的X实验室建立了一个由16000个计算机处理器组成的神经网络,有10亿个连接,之后人工大脑浏览了YouTube并搜索了猫咪视频。没有向神经网络提供任何输入,然而 谷歌的人工大脑使用深度学习算法,结合知识图谱--来执行一个最常见的搜索,甚至是一个人的大脑也会这样做。

事实证明,图是深度学习中神经网络的通信核心。这样的学习过程有几个隐藏层,网络用来为任何输入产生最佳结果。通过知识图谱,谷歌取得了突破性的成就,并在2014年收购了DeepMind,以进一步开展深度学习算法的研究和学习。谷歌助理,Facebook上的语音识别,以及你的智能手机中的Siri,使用人脸识别的解锁,指纹解锁等等都是人工智能通过分析实现识别的几种创新。

The postWhy Is Knowledge-Supervised Deep Learning Importantappeared first onAnalytics India Magazine.