机器学习不像你的大脑 第四部分:神经元代表精确数值的能力有限

146 阅读6分钟

Machine Learning Is Not Like Your Brain Part 4: The Neuron’s Limited Ability to Represent Precise Values
照片: camilo jimenezon Unsplash

ML算法依赖于其以高度的分辨率和准确性来表示数字的能力。这在生物神经元中是困难的或不可能的。此外,需要的精度越高,基于神经元的系统运行速度就越慢。任何实现ML所要求的数字精度的生物大脑都会太慢而无法发挥作用。

在计算机或你的大脑中,神经元和晶体管都以数字方式表示信息--神经元通过发射尖峰,而晶体管通过采取两种定义的电压状态之一。鉴于这样的数字组件,有许多方法来编码数值。

  1. 单个串行信号中尖峰的频率(比特)。
  2. 单一信号中尖峰的时间。
  3. 一些平行信号的编码。
  4. 一些更复杂的编码方案,如二进制整数、浮点、或Unicode。虽然从理论上讲,神经尖峰流有可能对二进制数字或Unicode字符串进行编码,但这是不可能的。

前三种方法确实出现在你的神经系统中,它们都存在于计算机系统中。

方法一

在大脑中,数值可以由特定时间段内的神经尖峰数量来表示。但请记住,神经元真的很慢,最大的频率约为250Hz,即每个尖峰4ms。如果我们想表示数字0-10,我们可以分配一个40ms的时间周期。如果在这个时间段内发生了10个尖峰,那就可以代表10,没有尖峰就代表0,等等。
这种方法的一些问题。

  1. 你不能有小数的尖峰,所以在40ms内你永远不能代表超过11个不同的值。
  2. 如果你想表示100个不同的值,你必须等待400毫秒(近半秒)才能知道你表示的是哪个值--太慢了,因为任何复杂的神经过程都需要多层次的处理。
  3. 为了处理更多的数值,你需要逐渐缩小突触的权重,如果内部电子噪声太大,大脑就会成为一个问题。
  4. 对于一个波动的值,你只能在时间段结束时知道新的值。换句话说,一个大部分时间为零、20ms为10的信号会登记为5,因为在40ms的时间段内只有5个脉冲的时间。

方法二

在这种方法中,我们不是计算某一特定时间段内的尖峰数量,而是检查相邻尖峰之间的时间。许多周围的神经在受到更大的刺激时发射得更快。例如,一些视网膜神经在更强的光线下发射得更快。 由于最快的发射速度是每4ms一次,我们可以让它代表10,每5ms一次的发射可以代表9,等等。现在我们可以在14ms而不是40ms内表示同样的11个值。神经元实际上非常擅长这种类型的区分。作为一个例子,大脑以亚毫秒的精度检测声音方向的能力依赖于区分具有精确到达时间差异的信号。

你可能认为,你可以说4毫秒代表一个值,而4.01毫秒(例如)代表另一个值,你可以得到任何想要的精确程度。不幸的是,这并不奏效,因为有一个老问题,即噪音。大脑是一个电噪声环境,神经信号的抖动可能高达一毫秒。

让我们来看看这种信号的接收端。通过调整神经元模型的各种参数,单个神经元有可能对任何特定的发射时间作出反应。这意味着,要区分10个不同的信号时间,你需要10个神经元。然而,成对的神经元可以相当准确地检测出两个传入信号中哪个信号的发射速度比另一个快。这意味着,虽然这种类型的信号对相对值非常有用,如检测两个不同亮度水平之间的边界,但它不能如此用于检测绝对信号值。

另一个问题是,虽然单个大脑神经元可以检测到这种类型的信号,但它们没有办法产生这种信号。一个神经元产生6毫秒与7毫秒脉冲间隙的唯一方法是让它们接受这样的输入信号。这使得任何关于这种类型的信号的大脑计算变得异常复杂。

方法3

考虑用一簇神经元来代表一个信号。发射的神经元数量越多,数值就越高。有趣的是,人类的触觉敏感度也采用了这种机制。因此,指尖按得越用力,感觉神经发射的数量就越多。这样做的好处是在一个单一的发射时间内代表任何数量的值,但实际的局限性是它使用了大量的神经元。要表示一个1000x1000的视觉阵列,其中每个可能是1000种颜色中的任何一种,这需要10亿个神经元。由于人类视觉皮层中只有1.4亿个神经元,这种机制的效用有限。

结论

神经元发射所能代表的最大数值是10到100个独特的数值。ML算法需要比这更多的精度,因为梯度下降的基本概念假定了一个连续的梯度表面。你需要在大脑中代表信息的数值越多,它的运行速度就越慢。

在本系列的第五部分,我们将介绍为什么神经元不能进行ML所需的最简单的求和。

**查尔斯-西蒙是**全国公认的企业家和软件开发人员,也是FutureAI的首席执行官。西蒙是《计算机会造反吗?为人工智能的未来做准备》一书的作者,也是AGI研究软件平台Brain Simulator II的开发者。欲了解更多信息,请访问这里

关于此主题的更多信息