开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第十四天，点击查看活动详情
总结：此文为12月更文计划第十四天第二十五篇。
神经网络
M-P 神经元模型
理想激活函数是阶跃函数 , 0表示抑制神经元而1表示激活神经元
阶跃函数具有不连续、不光滑等不好的性质 , 常用的是 Sigmoid 函数
多层网络：包含隐层的网络
前馈网络：神经元之间不存在 同层连接也不存在跨层连接，即网络中无环或者回路。
隐层和输出层神经元亦称“功能单元”(functional unit)，无隐藏层的又称“感知机(Perceptron)”
多层前馈网络有强大的表示能力
· 输出层与输入层之间的一层神经元称为隐层或隐含层，隐含层和输出层神经元都是拥有激活函数的神经元.
· 多层前馈神经网络：每层神经元与下层神经元全互联，神经元之间不存在同层连接，也不存在跨层连接.
· 输出层神经元与输出层神经元对信号进行加工，最终结果由输出神经元输出. 换言之，输入层只接受输入，不进行函数处理，隐层与输出层包含功能神经元.
· 包含一层隐层为两层神经网络（西瓜书为单隐层网络）
· 神经网络的学习过程，就是训练数据来调整神经元之间的“连接权”以及每个功能神经元的阈值；换言之，神经网络“学”到的东西，蕴含在连接权与阈值中.
· 个人理解神将网络就是由多个线性回归组成每一层网络的神经元，具有不同的权重与阈值（具有不同的功能），每一层加入不同的激活函数，进行非线性处理。
感知机
感知机(Perceptron)由两层神经元组成，输入层接受外界输入信号后传递给输出层，输出层是M-P神经元，为二类分类的线性分类模型（激活函数为阶跃函数）。
可以看出感知机是通过逐个样本输入来更新权重：
设定好权重(一般为随机)，逐个地输入样本数据，若输出值与真实标记一致则继续输入下一个样本，否则更新权重，再开始重新逐个检验，直到所有的样本的输出值与真实标记一致。
考虑到现实任务的复杂性，更一般的，常见的神经网络是如下图所示的层级结构，每层神经元与下层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接，这样的神经网络结构通常称为
误差逆传播算法
标准 BP 算法
• 每次针对单个训练样例更 新权值与阈值
• 参数更新频繁 , 不同样例 可能抵消 , 需要多次迭代
累积 BP 算法
• 其优化目标是最小化整个 训练集上的累计误差
BP算法常常导致过拟合
