这是我参与11月更文挑战的第3天，活动详情查看：2021最后一次更文挑战
1. 神经元模型
神经网络定义 - 神经网络 是 由 具有适应性的 简单单元【神经元模型】组成的 广泛并行互连 的 网络
神经元模型 - 神经网络中的简单单元
“兴奋”时 - 向相连 神经元 发送化学物质 - 改变这些神经元内电位 - 电位超过某一阈值 - 激活 - 向其他神经元发送化学物质
M-P神经元模型
每个神经元相连（权重连接） - "兴奋" 发送化学物质 - 改变神经元内电位 - 超过阈值 - 被激活 激活函数 - sigmoid【挤压函数】
2. 感知机与多层网络
感知机 - 两层神经元 - 输入层接收输入信息 传递给输出层【M-P神经元】- 阈值逻辑单元
阈值 - 哑结点
感知机 - 输出层神经元进行激活函数处理 - 只拥有一层功能神经元
与、或、非 - 都是线性可分 - 存在一个线性超平面将它们分开
非线性问题
感知机无法解决 - 多层功能神经元
异或问题 - 两层感知机 - 输入层和输出层之间的一层：隐含层
神经元 - 同层不连接，每层与下层全互连，不存在跨层连接 - 多层前馈神经网络
多层前馈神经网络
输入层 - 接受输入
隐层和输出层 - 包含功能神经元
神经网络的学习过程 - 根据训练数据 调整神经元之间的“连接权”及每个功能神经元的阈值
3. 误差逆传播算法
BP算法 - 基于梯度下降策略
目标 - 最小化训练集上的累积误差
流程：输入示例 - 输入层神经元，逐层信号前传 - 产生输出元 - 根据隐层神经元的误差 - 对连接权和阈值 调整 - 迭代循环进行，直到达到某停止条件
累积误差逆传播算法
累积误差最小化 - 直接针对累积误差最小化
4. 全局最小与局部极小
神经网络 - 参数寻优 局部极小 - 梯度为零
