🏆🏆🏆教程全知识点简介：1.深度学习概述包括深度学习与机器学习区别、深度学习应用场景、深度学习框架介绍、项目演示、开发环境搭建（pycharm安装）。2. TensorFlow基础涵盖TF数据流图、TensorFlow实现加法运算、图与TensorBoard（图结构、图相关操作、默认图、创建图、OP）、张量（张量概念、张量的阶、张量数学运算）、变量OP（创建变量）、增加其他功能（命名空间、模型保存与加载、命令行参数使用）、逻辑回归案例。3. 神经网络基础包括playground使用、多个神经元效果演示、深层神经网络。4. 神经网络与tf.keras。5. 梯度下降算法改进涵盖指数加权平均、动量梯度下降法、RMSProp算法、Adam算法、TensorFlow Adam算法API、学习率衰减、标准化输入、神经网络调优、批标准化。6. 卷积神经网络包括CNN原理、CIFAR类别分类（API使用、步骤分析代码实现缩减版LeNet）、卷积神经网络学习特征可视化。7. 经典分类网络结构涵盖LeNet解析、AlexNet、卷积网络结构优化、Inception结构、pre_trained模型VGG预测（VGG模型使用、步骤代码）。8. CNN网络实战技巧。9. 迁移学习案例包括基于VGG的五种图片类别识别迁移学习（数据集迁移需求、思路步骤、训练时读取本地图片类别、特征图平均值输出替代全连接层）。10. 目标检测包括目标检测任务描述、目标定位实现思路、商品物体检测项目介绍、R-CNN（Overfeat模型、SPPNet）、Faster R-CNN（RPN原理）、YOLO（单元格grid cell、非最大抑制NMS、训练）、SSD。11. 商品检测数据集训练涵盖标注数据读取存储（xml读取本地文件存储pkl、解析结构、one_hot编码函数）、训练（案例训练结果、多GPU训练代码修改）、本地预测测试（预测代码）、模型导出（keras模型TensorFlow导出）。12. 模型部署包括Web与模型服务对接逻辑、Docker部署环境、TF Serving与Web开启服务（安装Tensorflow Serving、commodity模型服务运行）、TensorFlow Client对接模型服务、Web Server开启。
📚📚👉👉👉 gitee.com/yinuo112/AI… 🍅🍅
🎯🎯🎯全教程总目录
🚀🚀🚀本篇主要内容
卷积神经网络
3.1 卷积神经网络(CNN)原理
学习目标
-
目标
- 了解卷积神经网络的构成
- 记忆卷积的原理以及计算过程
- 了解池化的作用以及计算过程
-
应用
-
无
-
为什么需要卷积神经网络
在计算机视觉领域，通常要做的就是指用机器程序替代人眼对目标图像进行识别等。那么神经网络也好还是卷积神经网络其实都是上个世纪就有的算法，只是近些年来电脑的计算能力已非当年的那种计算水平，同时现在的训练数据很多，于是神经网络的相关算法又重新流行起来，因此卷积神经网络也一样流行。
-
1974年，Paul Werbos提出了误差反向传导来训练人工神经网络，使得训练多层神经网络成为可能。
-
1979年，Kunihiko Fukushima（福岛邦彦），提出了Neocognitron， 卷积、池化的概念基本形成。
-
1986年，Geoffrey Hinton与人合著了一篇论文：Learning representations by back-propagation errors。
-
1989年，Yann LeCun提出了一种用反向传导进行更新的卷积神经网络，称为LeNet。
-
1998年，Yann LeCun改进了原来的卷积网络，LeNet-5。
原因之一：图像特征数量对神经网络效果压力
假设下图是一图片大小为28 * 28 的黑白图片时候，每一个像素点只有一个值（单通道）。那么总的数值个数为 784个特征。
那现在这张图片是彩色的，那么彩色图片由RGB三通道组成，也就意味着总的数值有28 28 3 = 2352个值。
从上面我们得到一张图片的输入是2352个特征值，即神经网路当中与若干个神经元连接，假设第一个隐层是10个神经元，那么也就是23520个权重参数。
如果图片再大一些呢，假设图片为1000 1000 3，那么总共有3百万数值，同样接入10个神经元，那么就是3千万个权重参数。这样的参数大小，神经网络参数更新需要大量的计算不说，也很难达到更好的效果，大家就不倾向于使用多层神经网络了。
所以就有了卷积神经网络的流行，那么卷积神经网络为什么大家会选择它。那么先来介绍感受野以及边缘检测的概念。
注：另有卷积网络感受野的概念，也是为什么使用卷积的原因
3.1.1 卷积神经网络的组成
-
定义
- 卷积神经网络由一个或多个卷积层、池化层以及全连接层等组成。与其他深度学习结构相比，卷积神经网络在图像等方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他浅层或深度神经网络，卷积神经网络需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。
我们来看一下卷积网络的整体结构什么样子。
其中包含了几个主要结构
-
卷积层（Convolutions）
-
池化层（Subsampling）
-
全连接层（Full connection）
-
激活函数
3.1.2 卷积层
-
目的
- 卷积运算的目的是提取输入的不同特征，某些卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网路能从低级特征中迭代提取更复杂的特征。
-
参数：
- size:卷积核/过滤器大小，选择有1 1， 3 3， 5 * 5（为什么是奇数个）
- padding：零填充，Valid 与Same
- stride:步长，通常默认为1
-
计算公式
3.1.2.1 卷积运算过程
对于之前介绍的卷积运算过程，我们用一张动图来表示更好理解些。一下计算中，假设图片长宽相等，设为N
- 一个步长，3 X 3 卷积核运算
假设是一张5 X 5 的单通道图片，通过使用3 X 3 大小的卷积核运算得到一个 3 X 3大小的运算结果（图片像素数值仅供参考）
我们会发现进行卷积之后的图片变小了，假设N为图片大小，F为卷积核大小
相当于N−F+1=5−3+1=3N - F + 1 = 5 - 3 + 1 = 3N−F+1=5−3+1=3
如果我们换一个卷积核大小或者加入很多层卷积之后，图像可能最后就变成了1 X 1 大小，这不是我们希望看到的结果。并且对于原始图片当中的边缘像素来说，只计算了一遍，二对于中间的像素会有很多次过滤器与之计算，这样导致对边缘信息的丢失。
-
缺点
-
图像变小
-
边缘信息丢失
-
3.1.3 padding-零填充
零填充：在图片像素的最外层加上若干层0值，若一层，记做p =1。
- 为什么增加的是0？
因为0在权重乘积和运算中对最终结果不造成影响，也就避免了图片增加了额外的干扰信息。
这张图中，还是移动一个像素，并且外面增加了一层0。那么最终计算结果我们可以这样用公式来计算：
5+2∗p−3+1=55 + 2 * p - 3 + 1 = 55+2∗p−3+1=5
P为1，那么最终特征结果为5。实际上我们可以填充更多的像素，假设为2层，则
5+2∗2−3+1=75 + 2 * 2 - 3 + 1 = 75+2∗2−3+1=7
3.1.3.1 Valid and Same卷积
有两种两种形式，所以为了避免上述情况，大家选择都是Same这种填充卷积计算方式
- Valid
