一． 摘要
这里将继续介绍NLP算法体系：基于人工神经网络（Artinci Neural Network）的深度学习方法。人工神经网络思想来源于仿生学对大脑机制的探索，即希望通过对大脑的模拟达到智能的目的。神经网络理论与技术就是在这样的目标下摸索发展出来的。神经网络是由具有自适应的单元组成的，广泛的、并行的、互联的网络，它的结构模拟了生物神经网络系统对真实世界所做出的交互反应。
二． 神经网络的组成
神经元模型： 首先简单的了解以下构成神经网络的最基础单元：神经元。每个神经元与其他神经元相连，当它处于激活状态时，就会向相连的神经元发送相应信号。从而改变其他神经元的状态。如果某个神经元的信号超过某个阈值。那么将被激活，再接着发送给其他神经元。如图1所示：
图1：神经元结构
之前我们了解到的GRU和LSTM网络都是由这一基本结构构成，神经网络的任何神经元都可以表述为上述的形式。该单元主要由输入变量、带权参数和激活函数组成。首先是x1，x2，x3带权重的输入变量，该变量的取值来自前面一层所有变量与权重的乘积，然后再求和，在数学上表示为下式：
其中，x为自由的输入变量，xl为当前l层，这里的累加求和为前面一层所有变量与权重的乘积，n为神经元个数。在实践当中，神经网络的输入层由训练样本给定。隐含层和输出层的x取值由前一层计算得到。其中b为偏置参数。
激活函数： 理想中的激活函数是如图2所示的跃迁函数，它将输入值映射到O或1，很直观的1对应着神经元激活状态，0则表示神经元处于失活状态。然而由于跃迁函数不连续且非光滑（无法完美表达大脑神经网络的连续传递过程），因此实际常用Sigmoid函数作为激活函数。典型的Sigmoid函数如图3所示，它把可能的数压缩进（0,1）输出值之间，因此又名挤压函数（squashing function）。
图2：跃迁函数图
图3：sigmoid函数图
将许多这样的神经元按照一定的层次结构组织起来，就得到了人工神经网络。事实上，我们可以先不用考虑神经网络是否完全真实地模拟了人脑运作的机制，只需要从数学角度将神经网络看作有许多参数的数学模型来看待，我们会发现这个模型是由许多个函数不断嵌套而成。
感知机与多层网络： 输入层接收外界的输入信号然后传递给输出层，输出层为逻辑单元，感知机的输入是几个二进制， xi输出是一位单独的二进制。
