神经网络概述

神经网络的性质和能力

• 非线性

神经网络可以是线性的，也可以是非线性的，一个由非线性神经元组成的神经网络自身就是非线性的

• 输入输出映射

每个样本是由唯一的输入信号和相应期望响应进行组成，然后从训练集中随机选择一个样本给网络，网络调整它自身突触权重（就是对应的自由参数），以最小化期望响应和由输入信号以适应的统计准则，产生实际响应之间的一个偏差

• 适应性

神经网络本身是具有调整自身突触全值以适应外界变化的能力

• VLSl(超大规模集成)实现

神经网络的大规模并行性使它具有快速处理某些任务的潜在能力，适用于vls技术实现

• 神经生物类比

神经网络是根据对人类的类比引发的，可以用神经生物学来作为解决复杂问题的新思路

• 分析和设计的一致性

神经网络基本结构

每一个圆圈代表一个 神经元( 也称处理单元或节点)，每个节点之间通过相互连接形成一个网络拓扑。这个拓扑的模式称为神经网络的互联模式。

图解：$x_n$为输入信号，$w_{ki}$为对应的权重，输入信号与对应的权重相乘后经过对应的累加函数（累加函数中有一个对应的偏差$Bias b_k$与结果相加），累加的结果$v_k$作为一个输出部分，该输出部分经过激活函数$\varphi(···)$得到最终输出结果（正是由于激活函数的存在，神经网络拥有了非线性的能力）

一个M-P神经元非线性模型:$y_k=\varphi(\displaystyle\sum_{j=1}^nw_{kj}x_j+b_k)$

激活函数

• 理想的激活函数为图(a)所示的阶跃函数:

  • 将输入值映射为输出值“0”或“1”
  • “1”对应于神经元兴奋，“0”对应于神经元抑制

• 实际常用Sigmoid函数作为激活函数:

  • 典型Sigmoid函数如图所示，它把在可能在较大范围内变化的输入值挤压到(0,1)输出范围内
  •   $\varphi(v) = \frac 1 {1+exp(-av)}$

神经网络的分类

从结构分类

前馈神经网络(Feedforward Neural Network)

反馈神经网络(Feedback Neural Network)

从学习方式分类

有监督学习:分类和回归

无监督学习:聚类

有监督学习

• 事先有一批正确的输入输出数据对，将输入数据加载到网络输入端后，把网络的实际响应输出与正确(期望的)输出相比较得到误差。
• 根据误差的情况修正各连接权，使网络朝着正确响应的方向不断变化下去。
• 直到实际响应的输出与期望的输出之差在允许范围之内，这种学习方法通称为误差修正算法。典型的有误差反向传播(Back propagation, BP)算法。

无监督学习

• 自组织学习:使网络具有某种“记忆”能力，以至形成“条件反射”。当曾经学习过的或相似的刺激加入后，输出端便按权矩阵产生相应的输出。如自组织映射(Self Organization Mapping,简写为SOM)算法。
• 无监督竞争学习:将处理单元划分为几个竞争块。在不同的块之间有刺激连接，而同一块的不同节点之间有抑制连接，从而当外界对不同块的一个单元施加刺激后，将激活不同块中互联最强的一组单元,得到对该刺激的一个整体回忆。

半监督学习和强化学习

• 半监督学习

  • 半监督学习不依赖外界交互、自动地利用未标记样本来提升学习性能。

• 强化学习

  典型例子：16年阿尔法狗

  • 强化学习是从环境到行为映射的学习，以使奖励信号(强化信号)函数值最大，与监督学习的不同主要表现在教师信号上，强化学习中由环境提供的强化信号是对产生动作的好坏作一种评价(通常为标量信号)。