神经网络结构

要想模拟人脑的能力，单一的神经元是远远不够的，需要通过很多神经元一起协作来完成复杂的功能。这样通过一定的连接方式或信息传递方式进行协作的神经元可以看作一个网络，就是神经网络。目前常用的神经网络结构有前馈网络、记忆网络、图网络三种。

前馈网络

前馈网络中各个神经元按接受信息的先后分为不同的组。每一组可以看作一个神经层。每一层中的神经元接收前一层神经元的输出，并输出到下一层神经元。整个网络中的信息是朝一个方向传播，没有反向的信息传播，可以用一个有向无环图表示。 前馈网络可以看作一个函数，通过简单非线性函数的多次复合，实现输入空间到输出空间的复杂映射。这种网络结构简单，易于实现。 前馈网络包括全连接前馈网络和卷积神经网络等。

记忆网络

记忆网络也称为反馈网络，网络中的神经元不但可以接收其他神经元的信息，也可以接收自己的历史信息。记忆神经网络具有记忆功能，在不同时刻具有不同的状态，其信息传播可以是单向或双向传递，因此可以用一个有向循环图或无向图来表示。 记忆网络可以看作一个程序，具有更强的计算和记忆能力。 记忆网络包括循环神经网络、Hopfield 网络、波尔兹曼机、受限波尔兹曼机等。 为了增强记忆网络的记忆容量，可以引入外部记忆单元和读写机制，用来保存一些网络的中间状态，称为记忆增强神经网络（Memory Augmented Neural Network，MANN），比如神经图灵机和记忆网络等。

图网络

图网络是定义在图结构数据上的神经网络。图中每个节点都由一个或一组神经元构成。节点之间的连接可以是有向的，也可以是无向的。每个节点可以接收来自相邻节点或自身的信息。 图网络是前馈网络和记忆网络的泛化，包含很多不同的实现，比如图卷积网络（Graph Convolutional Network，GCN）、图注意力网络（Graph Attention Network，GAT）、消息传递神经网络（Message Passing Neural Network，MPNN）等。 下图中方形节点表示一组神经元。