持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第2天，点击查看活动详情
1 神经元
1.1 概述
1.1.1 神经网络
神经网络：一种人工模仿动物中枢系统的数学模型，用于对函数进行近似估计
1.1.2 神经元
神经网络的基本单位是神经元。
神经元是一种处理单元，是对人脑组织的神经元的某种抽象、简化和模拟。通过神经元，人工神经网络可以以数学模型模拟人脑神经元活动，继而进行高效的计算以及其他处理。
编辑
1.2 计算机中的神经元系统
1.2.1 简单的神经元系统
神经元模型便是模拟大脑神经元的运行过程，其包含输入，输出与计算功能，输入可以类比为神经元的树突，而输出可以类比为神经元的轴突，计算则可以类比为细胞核。下图是一个典型的神经元模型：包含有m个输入，1个输出，以及2个计算功能。
编辑
1.2.2 一句话理解神经网络
所以一句话理解就是：制造一个神经网络就是在定义一个函数集合。而训练一个神经网络就是在这个函数集合中找到 唯一一个函数。这个函数代表了训练样本的共性特征。这种共性特征称为目标。
一个神经元的功能是求得输入向量与权向量的内积后，经一个非线性传递函数得到一个标量结果。
1.2.3 神经网络的形成
当前主要使用反向传播的算法将模型的误差作为刺激的信号，并沿着神经元处理信号的反方向进行逐层传播，并更新当前层中节点的权重。
1.2.4 神经网络的特点
神经网络的结构与功能，使得其天生具有编程与实现各种高级功能的能力，只不过该编程不需要通过人脑拟合现实来实现，而是通过模型学习的方式，通过现实的表象来优化其所需要的结构。
1.3 深度学习中的基础神经网络模型
- 全连接神经网络：用来处理与数值相关的任务
- 卷积神经网络：用来处理与计算机视觉相关的任务
- 循环神经网络：用来处理与序列相关的任务
1.4 神经网络（深度学习）到底是在干什么
1.4.1 玩色子
应该都接触过摇色子赌大小得游戏，微信表情包就有这个，总共有六个点数，如下：
编辑
一般电视剧里用两只碗扣在一块，里面有三个色子，最大是18点，最小是3点，所以这里暂且以11为中位数，大于等于11的为大，小于11的为小，刚好8个大点、8个小点。
1.4.2 建模型
神经网络包括三个部分——输入层、隐藏层和输出层。我们建立一个神经网络模型来让机器识别我们摇出来的点数是大还是小。
先摇三个点。。。
编辑
很明显的是1+3+4 = 8 <11，
问题是隐藏层 “ 编辑”到底做了什么？该怎么做？
1.4.3 出结果
其实这个隐藏层的函数（或者叫矩阵）就是三个值为1的常数函数。
编辑
计算方式为点对点相乘然后相加（相当于深度学习里面的全连接层）
1×1+3×1+4×1 = 8 < 11，然后只需要一个判断函数就可以将“小”作为结果输出。
同样：
编辑
3×1+5×1+6×1 = 14 >11，输出“大”。
当然了，这个只是一个很简单的分类模型，而且只有两个分类结果。
一般用于实现数字识别或者图像识别的隐藏层比较复杂，甚至需要很多个隐藏层，分别命名为卷积层（一个模型中可能会多次使用）、池化层（一个模型中可能会多次使用）、全连接层，还会有对应的激活函数。
看吧，其实就是一个很简单的模型而已，只是名字唬人罢了。
2 全连接神经网络，又称作多层感知机（MLP）
2.1 网络结构
编辑
- 输入层：[特征维度，n]
- 隐含层：权重矩阵 [输出维度，输入维度] 或者说 [这层维度，上层维度]
- 输出层：[类别数，n]
2.1.1 全连接层的本质
① 全连接神经网络的本质是将低维数据向高维数据的映射，通过增加数据所在的维度空间，使得数据变得线性可分
② 可以对任何数据进行分类，缺点是需要更多的参数进行训练。但更多的参数参与运算，将会导致训练过程难以收敛
2.2 全连接神经网络的设计思想
2.2.1 输入节点根据外部的特征数据来确定
2.2.2 隐藏层的节点数，隐藏层的数量都是可以自定义设计的，但需要遵循以下两个原则
2.2.3 设计原则
- 隐藏层的节点数决定模型的拟合能力，但是过多的节点带了拟合能力的同时，也会使得模型的泛化能力下降。
- 隐藏层的层数决定模型的泛化能力，层数越多，模型的推理能力越强，但是随着层数的变多，会对拟合效果产生影响
2.3 全连接神经网络在模型中的位置
一般处于整个深层模型的最后部分，由其具有的调节维度的作用，通过指定输入层与输出层的节点数，就可以实现从原维度向任意维度的变化，一般前后层的维度控制在5倍以内。
2.3.1 小技巧
搭建多层全连接神经网络时，对隐藏层的节点设计，应遵循先将维度扩大再缩小的方式进行，会使得模型的拟合效果更好。