难舍的机器学习—AI 的起源

906 阅读5分钟

这是我参与8月更文挑战的第30天,活动详情查看:8月更文挑战

《西部世界》讲述了在一个以美国西部为主题的大型主题公园里,园方使用搭载超高人工智能的仿生人作为服务人员,让游客进入完全沉浸式的角色扮演体验的科幻故事。

从今天人工智能发展现况来看,《西部世界》中出现的人工智能距离还是有定距离。今天人工智能还是停留在初级的模式识别阶段。

intro_001.png

有时候我们会对一些概念之间关系容易混淆,例如人工智能、机器学习和深度之间关系。机器学习是人工智能的一个分支,深度学习是机器学习的一个算法,而且大数据和数据科学也和深度学习和机器学习难舍难分,深度学习和机器学习算法已经融入到了大数据和数据科学各个领域

intro_016.jpg

为了对人工智能系统有个整体的认识,我们引入三个词语

  • 世界(monde):环境、输入、数据或者是知识数据
  • 计算器(calculateur):计算、程序、模型或是代理(agent)
  • 以及视野(horizon):目标函数、结果或者是输出

john-mccarthy-father-of-artificial-intelligence.png

John McCarthy 于 1956 年提出了人工智能这一概念。目前在机器学习领域,尤其是深度学习领域,预测算法正在取得重大进展。

intro_017.jpg

  • 符号主义的研究人员尝试着人工设计计算器,世界,和视野
  • 联结主义的研究人员则相反,他们尝试把计算器清空了,让世界来自己得出他的视野。

symbolic_ai.png

符号主义

Dartmouth, John McCarthy 和 Marvin Minsky 在1956年达特茅斯举行的会议中提出了人工智能(AI) 这个词语,用来反对早期控制论里的联结主义 (Dupuy, 2005)。他们觉得机器根据输入和输出进行自适应调整是不够的, 符号主义人工智能的目标是把人工定义的程序算法和规则放入计算机系统中,这样可以从更高一级来操纵系统。符号主义从19世纪60年代中期到90年代初,一直在人工智能领域占主导地位。

intro_010.jpg

符号主义的最初工作由 Herbert Simon 和 Allen Newell(纽维尔) 在19世纪50年代推动。1956年,他们写了第一个人工智能程序 Logic Theorist ,让机器来模拟做决策的过程。

以人工的代价:“智能”世界是由设计师实现的,受到监督,精准,明确,因此理性就是它的视野

intro_018.png

联结主义

神经网络起源于早期的计算机以及控制论,虽然最开始并不是叫这个名字,我们叫联结主义。神经网络这个词由神经学家 Warren McCulloch 和逻辑学家 Walter Pitts 在 1943 年提出,最初含义是指给人脑的神经网络进行数学建模。那篇文章一直被深度学习的文章引用至今,甚至可以看作联结主义的起源。

intro_003.jpg

神经网络在 2012 年的 ECCV 取得了巨大的成功,其实神经网络并不是什么新东西。利用强大的算力,以及大量的数据,现在已经可以满足控制论的一些要求。只是最近用于描述这些技术的术语是人工智能( AI )。

  • 强大的算力
  • 大量的数据
时间事件备注
1943 年提出神经网络这个词由神经学家 Warren McCulloch(麦卡洛克) 和 逻辑学家 Walter Pitts(皮茨)备注
1943 年提出Arturo Rosenblueth(罗森布鲁斯), Norbert Wiener(维也纳) 和 Julian Bigelow(比奇洛) 在 1943 年定义了控制论的基本原理,他们想象一个能够自我纠错的机器备注
1949神经学家 Donald O. Hebb 才把神经网络和机器学习联系起来。他发现神经元之间通过突触信息被激活可以看作一个学习过程备注
1956John McCarthy(麦卡锡) 和 Marvin Minsky (明斯基)在 1956 年达特茅斯举行的会议中提出了人工智能(AI) 这个概念。
1995 到 2007年SVM 时代
2010年LeCun 提出 10 层神经网络但是效果一般
在2005 - 2008年非常简单的随机梯度下降算法并不能保证可以收敛到整体的最小值,
2009imageNet 的诞生该数据库目前包括1400万个图像,其元素已被手动标注了21841个类
2009年,显卡上实现了反向传播算法, 从而神经网络的速度提高了 70倍数据集的指数增长同样伴随着计算器架构的改变:网络中的神经元数量每2.4年翻一番

控制论提议直接弄一个简单的黑箱,将这个黑箱的学习与视野联系起来,通过测量世界和机器行为的误差来调节黑箱里的参数。控制论将其计算的视野定义为对世界的输入和输出的比较。

Frank Rosenblatt(弗蘭克·羅森布拉特)

Frank Rosenblatt 设计的机器受 McCulloch 和 Pitts 提出的神经网络的启发,同时增加了学习机制。在感知机叠加的各层中,输入神经元模拟视网膜活动,输出神经元对系统识别的“特征”进行分类,只有中间的隐藏层才能学习。

intro_008.jpg

Frank Rosenblatt(弗蘭克·羅森布拉特) 提出采用自下而上的方法,用学习机制统计学习网络结构。在软件实现感知机之后,Frank Rosenblatt 将开始构建硬件版本的感知机:Mark I,它将400个用光电设备组成神经元。 突触权重由电位计编码,并且学习期间的权重变化由电动机执行。由于当时的技术限制,这类物理实现的感知机还是很罕见的。并且,由于人工智能另一个分支, 符号主义的发展,这部分研究趋于停滞。